導(dǎo)語

從“萬物終將腐朽”的熵增定律出發(fā)，本文系統(tǒng)梳理了熵在熱力學(xué)與統(tǒng)計(jì)物理中的嚴(yán)格定義，展示其如何作為連接微觀與宏觀的核心橋梁，并進(jìn)一步走向量子體系、非平衡過程，乃至生成式人工智能模型，揭示熵在理解復(fù)雜系統(tǒng)與智能涌現(xiàn)中的深層意義。

關(guān)鍵詞：熵增定律、統(tǒng)計(jì)物理、玻爾茲曼熵、系綜理論、配分函數(shù)、非平衡態(tài)、生成模型

董思言丨作者

王朝會(huì)丨編輯

作者簡(jiǎn)介

董思言，中山大學(xué)物理與天文學(xué)院物理系本科生，已保研直博至清華大學(xué)交叉信息研究院，研究方向?yàn)榱孔有畔⑴c量子網(wǎng)絡(luò)、AMO實(shí)驗(yàn)、AI4S 等。

“根據(jù)熱力學(xué)第二定律，世間萬物，遲早會(huì)爛掉?！边@是伍迪·艾倫電影中的一句臺(tái)詞。

物理學(xué)的熱力學(xué)第二定律稱為“熵增定律”。它揭示了一個(gè)殘酷的事實(shí)：一個(gè)孤立系統(tǒng)總是自發(fā)地向著無序發(fā)展，總熵值會(huì)一直增大，直至達(dá)到熱平衡。在這里，“熵”是衡量混亂程度的物理量，熵值越高，系統(tǒng)越混亂（如圖1所示）。 照此推演，宇宙的未來注定將走向無序，最終歸于沉寂與虛無。

圖1：兩種系統(tǒng)的熵對(duì)比

收回蔓延的思緒，作為一個(gè)物理量，那么物理學(xué)家是如何定義并計(jì)算“熵”？

一、 熵：從熱力學(xué)到統(tǒng)計(jì)物理

1）熱力學(xué)定義：從可測(cè)過程出發(fā)

熵，這個(gè)概念來源于熱力學(xué)。在經(jīng)典熱力學(xué)中，德國(guó)物理學(xué)家克勞修斯把熵定義為“能量的退化”，他創(chuàng)造了entropy（德語 Entropie）這個(gè)詞，包含能量（對(duì)應(yīng)en）和轉(zhuǎn)變（對(duì)應(yīng)tropy）兩種意思，也就是在一個(gè)孤立系統(tǒng)中，熱量總是從高溫流向低溫，同時(shí)這個(gè)過程不可逆。克勞修斯熵的公式為：

dS=dQ/T（1）

其中，S代表熵，Q代表熱量，T代表溫度，這個(gè)公式表明微小熵變等于系統(tǒng)吸收（或放出）的微小熱量除以絕對(duì)溫度，熵的單位就是焦耳/開爾文 (J/K)。

其實(shí)中文的“熵”這個(gè)字，也和這個(gè)公式有關(guān)。1923年我國(guó)物理學(xué)前輩胡剛復(fù)教授首次把Entropy翻譯為“熵”，這是一個(gè)創(chuàng)造的新字，“火”字旁提示它出身于熱學(xué)語境；“商”在數(shù)學(xué)中表示除法運(yùn)算（熱力學(xué)Q和溫度T）的結(jié)果。

2）統(tǒng)計(jì)物理定義：從微觀計(jì)數(shù)出發(fā)

克勞修斯是從可測(cè)的熱力學(xué)過程出發(fā)，用宏觀物理量定義了熵。熵還有一個(gè)著名的表達(dá)式，它由玻爾茲曼提出，也被刻在他的墓碑之上：

S = kB logΩ（2）

其中kB其中代表玻爾茲曼常數(shù)（單位：J/K），Ω代表滿足同一宏觀約束（能量、體積等）時(shí)系統(tǒng)可實(shí)現(xiàn)的微觀狀態(tài)數(shù)。宏觀上我們只描述少數(shù)變量，微觀上卻存在海量細(xì)節(jié)，Ω越大，宏觀描述遺漏的信息越多，熵也越大。這個(gè)公式使用統(tǒng)計(jì)的方法來定義物理量，這也是統(tǒng)計(jì)物理一個(gè)直觀的意義。玻爾茲曼從微觀狀態(tài)數(shù)變化的角度，用統(tǒng)計(jì)物理的方法定義了熵，將宏微觀聯(lián)系起來。

而這兩個(gè)公式科學(xué)家通過推導(dǎo)可以證明，兩者是等同的。所以說，熵是統(tǒng)計(jì)物理與熱力學(xué)之間關(guān)鍵的橋梁之一。

當(dāng)我們把視野從熱力學(xué)系統(tǒng)拉到復(fù)雜系統(tǒng)：當(dāng)系統(tǒng)由海量自由度構(gòu)成（粒子、細(xì)胞、個(gè)體、節(jié)點(diǎn)……），我們往往只掌握局部規(guī)則與少數(shù)約束。統(tǒng)計(jì)物理提供的一種基本思路是：雖然不了解系統(tǒng)每個(gè)個(gè)體的具體行為，但只要個(gè)體數(shù)量足夠多，可以通過忽略細(xì)節(jié)噪聲，來抓住宏觀規(guī)律。

集智學(xué)園聯(lián)合上海大學(xué)李永樂教授推出了《統(tǒng)計(jì)物理基礎(chǔ)》課程，帶你進(jìn)入到物理的世界中思考，它不是一門枯燥理論或公式推導(dǎo)的課程，因?yàn)橛行┩苿?dòng)物理學(xué)的重要公式也并非是通過嚴(yán)格的數(shù)學(xué)推導(dǎo)得到的，而是一門鍛煉物理思考能力的課程，從無序中發(fā)現(xiàn)有序，從微觀到宏觀，來為復(fù)雜系統(tǒng)進(jìn)行建模。

二、辨別熵的多面面孔

我們也要注意區(qū)分在日常生活中經(jīng)常聽到的“熵”：

信息熵（香農(nóng)熵）： 這是香農(nóng)借用了物理學(xué)的名詞，用來描述信息的不確定性，單位通常為bit。雖然它關(guān)注的是信號(hào)的概率分布而非能量轉(zhuǎn)換，但它與物理學(xué)中的玻爾茲曼熵在數(shù)學(xué)形式上是完全一致的。這種深層的同構(gòu)性，為后來物理學(xué)家用統(tǒng)計(jì)力學(xué)解釋人工智能埋下了伏筆。

社會(huì)/生態(tài)熵： 這是一個(gè)隱喻式的延伸。將社會(huì)的復(fù)雜性或能源的耗散稱為“熵增”，雖然在宏觀直覺上成立，但往往忽略了物理學(xué)中極其嚴(yán)格的“孤立系統(tǒng)”前提。

三、邏輯的階梯：統(tǒng)計(jì)物理的基礎(chǔ)框架

統(tǒng)計(jì)物理構(gòu)建了一座連接微觀粒子行為與宏觀物質(zhì)屬性的嚴(yán)密邏輯橋梁。它擺脫了牛頓力學(xué)對(duì)單體軌跡的機(jī)械追蹤，轉(zhuǎn)而引入相空間這一概念——在相空間中，系統(tǒng)中微觀粒子瞬時(shí)位置與速度的信息濃縮為一個(gè)點(diǎn)。在此基礎(chǔ)上，統(tǒng)計(jì)物理以熵為核心，不再關(guān)心個(gè)體的信息，而是通過相空間中的概率分布來刻畫系統(tǒng)的演化方向。

該理論體系以熱力學(xué)公理為基石，利用系綜理論——一種通過構(gòu)建大量假想副本來進(jìn)行統(tǒng)計(jì)抽樣的方法——將原本復(fù)雜的物理問題重構(gòu)為統(tǒng)計(jì)計(jì)數(shù)問題。在此基礎(chǔ)上，確立了配分函數(shù)連接起微觀能級(jí)與宏觀觀測(cè)量。從經(jīng)典的玻爾茲曼分布到量子統(tǒng)計(jì)的全同性原理，再到描述相變與漲落的非平衡領(lǐng)域，統(tǒng)計(jì)物理成功地從龐雜的微觀概率中提煉出確定性的宏觀定律，可謂是綱舉目張，一葉知秋。

1）相空間：用分布替代軌跡

在牛頓力學(xué)的宏偉版圖下，我們習(xí)慣于通過解析每一個(gè)粒子的受力與軌跡來計(jì)算未來的運(yùn)動(dòng)。然而，面對(duì)一個(gè)包含 1023 量級(jí)粒子的宏觀系統(tǒng)，這種個(gè)體追蹤的方法論無異于大海撈針。統(tǒng)計(jì)物理的出發(fā)點(diǎn)很樸素：我們承認(rèn)細(xì)節(jié)不可得，于是轉(zhuǎn)向更可控的對(duì)象——概率與約束。熵在這里獲得一種更精確的身份：它度量在既定宏觀約束下，系統(tǒng)還剩下多少“微觀可能性”，并由此牽引出宏觀演化的方向。

為了承載這種“以概率代替軌跡”的方法，統(tǒng)計(jì)物理引入相空間：系統(tǒng)的一個(gè)微觀態(tài)對(duì)應(yīng)相空間中的一個(gè)點(diǎn)；系統(tǒng)對(duì)外呈現(xiàn)的宏觀狀態(tài)，對(duì)應(yīng)相空間中一大片區(qū)域。我們不再糾纏單個(gè)點(diǎn)的命運(yùn)，而關(guān)心系統(tǒng)在相空間中的概率分布如何隨時(shí)間流動(dòng)。把演化寫成分布的變化，熵就自然登場(chǎng)：它衡量分布“鋪開”的程度，也衡量約束之下可實(shí)現(xiàn)微觀態(tài)集合的體量。

2）基礎(chǔ)理論：熵是連接宏微觀的橋梁

玻爾茲曼熵將一個(gè)宏觀狀態(tài)理解為大量微觀實(shí)現(xiàn)方式的集合，其大小的對(duì)數(shù)自然成為衡量系統(tǒng)“最可能呈現(xiàn)何種狀態(tài)”的尺度。在此基礎(chǔ)上，熵極大原理并非引入額外假設(shè)，而是對(duì)大數(shù)規(guī)律的物理表達(dá)：系統(tǒng)幾乎必然停留在微觀實(shí)現(xiàn)數(shù)占據(jù)壓倒性優(yōu)勢(shì)的宏觀狀態(tài)附近。進(jìn)一步地，當(dāng)約束條件以平均量的形式給出時(shí)，最大熵原理直接導(dǎo)出玻爾茲曼分布及其配分函數(shù)。由此，統(tǒng)計(jì)物理建立起一套標(biāo)準(zhǔn)化的跨尺度協(xié)議：從微觀哈密頓量出發(fā)，通過熵的極值化構(gòu)造配分函數(shù)，再由其系統(tǒng)性地生成能量、自由能及響應(yīng)函數(shù)等宏觀物理量。所謂確定性的熱力學(xué)定律，并非概率描述的對(duì)立面，而正是從龐雜無序的概率結(jié)構(gòu)中被“提煉”出的最穩(wěn)定結(jié)果。

構(gòu)建這一邏輯階梯的首要環(huán)節(jié)，是對(duì)宏觀熱力學(xué)框架的公理化完善。邏輯的嚴(yán)密性要求我們：只有先行明確系統(tǒng)的宏觀約束狀態(tài)，才能賦予微觀統(tǒng)計(jì)以物理意義。熱力學(xué)第一、二定律不僅是能量守恒與耗散的經(jīng)驗(yàn)總結(jié)，更是為系統(tǒng)演化劃定了“可能”與“不可能”的絕對(duì)邊界。通過引入特性函數(shù)，我們將復(fù)雜的物理環(huán)境抽象為簡(jiǎn)潔的數(shù)學(xué)表達(dá)式：內(nèi)能 U(S, V, N)對(duì)應(yīng)孤立背景，而吉布斯自由能 G(T, P, N) 則完美契合了恒溫恒壓的現(xiàn)實(shí)實(shí)驗(yàn)室條件。而麥克斯韋關(guān)系式的對(duì)稱美：

直觀地揭示了這些偏微分關(guān)系的本質(zhì)——勒讓德變換。這種數(shù)學(xué)變換證明了宏觀參量之間存在著深刻的邏輯耦合，為后續(xù)我們從微觀統(tǒng)計(jì)平均中提取出壓強(qiáng)、溫度等宏觀觀測(cè)量奠定了堅(jiān)實(shí)的數(shù)學(xué)前提。

3）系綜進(jìn)階：物理系統(tǒng)的重構(gòu)

在前文的基礎(chǔ)之上，邏輯階梯進(jìn)入了革命性的階段：系綜理論與公理化假設(shè)。這也是李永樂教授課程的核心論域——即如何通過概率邏輯重構(gòu)物理系統(tǒng)。

對(duì)于一個(gè)完全孤立的系統(tǒng)，統(tǒng)計(jì)物理擲下了它的邏輯骰子：等概率原理。在這一假設(shè)下，熵被重新定義為玻爾茲曼公式：S = kB lnΩ這里的 Ω 代表給定能量下系統(tǒng)所能占據(jù)的微觀狀態(tài)總數(shù)。這是邏輯階梯上最關(guān)鍵的跨越，它成功地將物理演化問題轉(zhuǎn)化為組合數(shù)學(xué)的計(jì)數(shù)問題，賦予了熱力學(xué)第二定律以統(tǒng)計(jì)學(xué)的靈魂。

隨著系統(tǒng)與外界環(huán)境交互方式的改變，系綜理論呈現(xiàn)出遞進(jìn)的邏輯層次，如圖2所示，我們可以大致分為五種統(tǒng)計(jì)系綜：三種正則系統(tǒng)與等壓等溫（類似實(shí)驗(yàn)室系統(tǒng)）與等焓等壓系。當(dāng)系統(tǒng)與龐大的熱庫(kù)接觸時(shí)，能量的交換使得單一能量狀態(tài)不再恒定，系統(tǒng)進(jìn)入正則系綜。此時(shí)，系統(tǒng)處于某一能量狀態(tài)的概率不再相等，而是服從玻爾茲曼分布：

其中

把宏觀概念的“熱”變成了調(diào)節(jié)能量權(quán)重的角色。而當(dāng)邏輯階梯進(jìn)一步延伸至涉及粒子數(shù)交換的開放系統(tǒng)時(shí)，巨正則系綜便成為主角。它是我們理解化學(xué)勢(shì)、物質(zhì)滲透以及復(fù)雜化學(xué)平衡的邏輯基石。

圖2 不同系綜對(duì)比示意圖（從左到右）：微正則系、正則系、巨正則系、等壓等溫系、等焓等壓系

在整條統(tǒng)計(jì)物理的邏輯鏈條中，配分函數(shù)Z扮演著連接微觀能級(jí)與宏觀觀測(cè)量的“唯一中介”角色。對(duì)于正則系綜，配分函數(shù)的定義不僅僅是一個(gè)求和式：

，它在本質(zhì)上是系統(tǒng)狀態(tài)分布的生成函數(shù)。通過對(duì) Z 求對(duì)數(shù)導(dǎo)數(shù)，我們可以導(dǎo)出系統(tǒng)的一切熱力學(xué)性質(zhì)：內(nèi)能表現(xiàn)為能量的加權(quán)平均

，而熵則通過

與系統(tǒng)的自由度緊密相連。這種從微觀分布到宏觀參數(shù)的邏輯推導(dǎo)，正是統(tǒng)計(jì)物理最令人心醉神怡之處。

4）量子系統(tǒng)：新的規(guī)則？

當(dāng)進(jìn)入微觀粒子的量子領(lǐng)域，經(jīng)典的連續(xù)分布被離散的量子態(tài)取代。當(dāng)?shù)虏剂_意波長(zhǎng)與粒子平均間距接近，粒子波函數(shù)開始重疊，粒子變得不可區(qū)分，全同性原理便開始占主導(dǎo)地位。此時(shí)必須區(qū)分兩類粒子：費(fèi)米子與玻色子。費(fèi)米子交換兩粒子時(shí)，波函數(shù)變號(hào)（反對(duì)稱），而玻色子交換兩粒子時(shí)，波函數(shù)不變（對(duì)稱），這兩種粒子會(huì)導(dǎo)致截然不同的統(tǒng)計(jì)行為。直觀來看三者在分布上存在顯著差異，如圖3所示，橫軸表示能級(jí)相對(duì)于化學(xué)勢(shì)的無量綱能量差，反映粒子占據(jù)該能級(jí)所需付出的熱學(xué)代價(jià)；縱軸表示在熱平衡條件下單位能級(jí)上的平均粒子數(shù)。藍(lán)線為玻色–愛因斯坦分布，低能區(qū)占據(jù)數(shù)迅速增大，體現(xiàn)玻色子可無限聚集的量子特性，是玻色–愛因斯坦凝聚的基礎(chǔ)；紅線為費(fèi)米–狄拉克分布，低能區(qū)占據(jù)數(shù)受限于不超過 1，體現(xiàn)泡利不相容原理；橙線為玻爾茲曼分布，對(duì)應(yīng)經(jīng)典極限。在高能區(qū)三條曲線逐漸重合，表明量子統(tǒng)計(jì)在高能或高溫條件下統(tǒng)一回歸經(jīng)典行為。

圖3 平均占據(jù)數(shù) ?n? 與 β(ε?μ)的關(guān)系（β=1/kT，μ 為化學(xué)勢(shì)）：Bose-Einstein分布（藍(lán)）顯示低能級(jí)的強(qiáng)聚集趨勢(shì)，F(xiàn)ermi-Dirac分布（紅）受泡利不相容限制，Maxwell-Boltzmann分布（橙）給出經(jīng)典稀薄極限。

而量子全同的真正影響在于：它改寫了統(tǒng)計(jì)物理最底層的“狀態(tài)計(jì)數(shù)規(guī)則”——同類粒子交換不再產(chǎn)生新微觀態(tài)，并且玻色子/費(fèi)米子分別允許或禁止同一量子態(tài)的重復(fù)占據(jù)。由于熵本質(zhì)上是Ω的對(duì)數(shù)、而配分函數(shù)Ζ是對(duì)所有允許微觀態(tài)的加權(quán)求和（量子情形為在對(duì)稱/反對(duì)稱態(tài)空間上取跡），一旦計(jì)數(shù)規(guī)則改變，Ω、Ζ、以及由Ζ導(dǎo)出的內(nèi)能、熱容、漲落乃至相變門檻都會(huì)隨之改變。所謂“高溫回歸經(jīng)典”，正是因?yàn)樵谙”O限下占據(jù)數(shù)很小，這些量子計(jì)數(shù)限制幾乎不再被觸發(fā)。

5）真實(shí)世界：漲落無處不在

經(jīng)典的平衡態(tài)統(tǒng)計(jì)物理構(gòu)建了一個(gè)靜態(tài)的理想框架，但真實(shí)的物理世界往往處于劇烈的漲落與演化之中。在李永樂教授課程的后半部分，我們將視角轉(zhuǎn)向更復(fù)雜的物理圖景。

首先是相變——這是平衡態(tài)中“漲落”由量變引起質(zhì)變的時(shí)刻。當(dāng)外部參數(shù)跨越臨界點(diǎn)，系統(tǒng)內(nèi)部的關(guān)聯(lián)長(zhǎng)度趨于無窮，微觀漲落不再相互抵消，而是宏觀涌現(xiàn)，導(dǎo)致對(duì)稱性自發(fā)破缺。朗道理論通過“序參量”巧妙地捕捉了這種秩序的生滅。更進(jìn)一步，當(dāng)我們真正踏入非平衡統(tǒng)計(jì)物理的大門，我們不再僅僅關(guān)注狀態(tài)的概率分布，更關(guān)注系統(tǒng)對(duì)外界的響應(yīng)。這里存在一個(gè)連接平衡與非平衡的宏偉橋梁——漲落-耗散關(guān)系。它告訴我們：系統(tǒng)在平衡態(tài)下自發(fā)的“漲落”特性，直接決定了它在非平衡條件下對(duì)外界擾動(dòng)的“耗散”能力（如電阻、粘滯）。這種深層的統(tǒng)一性，正是統(tǒng)計(jì)物理從靜態(tài)走向動(dòng)態(tài)、從結(jié)構(gòu)走向演化的關(guān)鍵一步。

至此，從微觀到宏觀、從經(jīng)典到量子、從平衡到非平衡，統(tǒng)計(jì)物理的邏輯階梯終于搭建完畢。

統(tǒng)計(jì)物理的基礎(chǔ)框架是一套嚴(yán)密的自洽邏輯體系。李永樂教授主講的《統(tǒng)計(jì)物理基礎(chǔ)》課程，正是遵循上述邏輯階梯，通過“問題驅(qū)動(dòng)”的方法，將枯燥的公式還原為生動(dòng)的物理直覺。

對(duì)于初學(xué)者： 重點(diǎn)在于理解系綜理論如何從統(tǒng)計(jì)平均中“涌現(xiàn)”出宏觀定律。

對(duì)于進(jìn)階者： 核心在于掌握配分函數(shù)這一工具，去處理如復(fù)雜流體、磁性材料乃至神經(jīng)網(wǎng)絡(luò)模型等前沿問題。

四、 跨學(xué)科的應(yīng)用前沿：

當(dāng)生成模型遇見非平衡態(tài)統(tǒng)計(jì)

在傳統(tǒng)視野中，統(tǒng)計(jì)物理處理的是物質(zhì)實(shí)體，而人工智能處理的是信息數(shù)據(jù)。然而，隨著深度學(xué)習(xí)尤其是生成式擴(kuò)散模型的橫空出世，這兩者的界限正在被數(shù)學(xué)邏輯打破。2025年1月發(fā)表Physical Review E上的一篇研究[7]，讓我們看到了一幅統(tǒng)計(jì)物理與深度學(xué)習(xí)完美交融的圖景。

圖4 擴(kuò)散模型示意圖。從左到右，前向擴(kuò)散過程，熵增；從右到左，逆向生成過程，熵減。

該研究的核心洞見在于，將AI生成圖片的逆向過程，精確映射為物理學(xué)中的朗之萬動(dòng)力學(xué)（一種引入了隨機(jī)熱噪聲的運(yùn)動(dòng)方程）。如圖4的擴(kuò)散模型示意圖中，我們可以把前向過程想象為一滴墨水在清水中擴(kuò)散，這是一個(gè)熵增的、趨向無序高斯分布的自然過程；而擴(kuò)散模型的魔法，在于通過學(xué)習(xí)一個(gè)“力場(chǎng)”，強(qiáng)行讓時(shí)間倒流，從混沌的白噪聲中“逆流而上”重構(gòu)出有序的數(shù)據(jù)結(jié)構(gòu)。這不僅是算法的勝利，更是非平衡態(tài)熱力學(xué)的直接體現(xiàn)。

圖5 二維高斯混合數(shù)據(jù)生成擴(kuò)散過程的示意圖。包括從時(shí)間t = 0到時(shí)間t = 3的前向擴(kuò)散過程與從時(shí)間t = 3到時(shí)間t = 0的逆向生成過程。

如圖5所示，研究利用二維高斯混合數(shù)據(jù)生成擴(kuò)散模型來模擬人工智能需要處理的、經(jīng)過“熵增”的信息數(shù)據(jù)（藍(lán)色軌跡），那么算法是如何在混亂的數(shù)據(jù)流中“逆行“復(fù)原出有序結(jié)構(gòu)的呢（綠色軌跡）？究其原因，他們是利用路徑積分與自旋玻璃理論，特別是Franz-Parisi勢(shì)能，揭示了生成過程中存在的動(dòng)力學(xué)相變。研究指出，數(shù)據(jù)生成的各個(gè)階段并不均等：在去噪的初期，系統(tǒng)處于類似于“順磁相”的無序狀態(tài)，演化是線性的、平庸的；但隨著噪聲降低跨越某一臨界點(diǎn)，系統(tǒng)發(fā)生自發(fā)對(duì)稱性破缺，進(jìn)入類似于“鐵磁相”的吸引子區(qū)域。此時(shí)，模糊的像素突然坍縮成清晰的語義特征——正如過冷水瞬間結(jié)冰。這種物理視角的引入，不僅量化了生成過程中的熵產(chǎn)生與能量消耗，更為我們理解神經(jīng)網(wǎng)絡(luò)如何從龐大的相空間中“鎖定”現(xiàn)實(shí)世界，提供了一個(gè)基于物理第一性原理的解釋。這再次證明，統(tǒng)計(jì)物理不僅是描述原子的語言，也是理解智能涌現(xiàn)的語法。

注：以上圖源均來自網(wǎng)絡(luò) （除論文標(biāo)注外）

參考文獻(xiàn)

1. Pathria, R. K., &Beale, P. D. (2011). Statistical Mechanics. Elsevier.

2. Landau, L. D., &Lifshitz, E. M. (1980). Statistical Physics. Pergamon Press.

3. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal.

4. Boltzmann, L. (1872). Further Studies on the Thermal Equilibrium of Gas Molecules.

5. Michaud, E. J., et al. (2024). "The Quantization Model of Neural Scaling." arXiv:2303.13506

6； Song, Y., et al. (2024). "Diffusion Models through the Lens of Non-equilibrium Thermodynamics." arXiv:2410.02543

7. Yu, Zhendong, and Haiping Huang. "Nonequilbrium physics of generative diffusion models." Physical Review E 111.1 (2025): 014111.

8. PRE 速遞：生成擴(kuò)散模型的非平衡物理

系列課程推薦：統(tǒng)計(jì)物理基礎(chǔ)課程

集智學(xué)園聯(lián)合上海大學(xué)理學(xué)院教授、知乎“物理學(xué)”話題優(yōu)秀答主李永樂，共同推出「統(tǒng)計(jì)物理基礎(chǔ)」系列課程。課程以熱力學(xué)和經(jīng)典力學(xué)為起點(diǎn)，依次展開 Boltzmann 統(tǒng)計(jì)、系綜理論、量子統(tǒng)計(jì)、相變與非平衡統(tǒng)計(jì)等核心內(nèi)容，圍繞一個(gè)核心問題展開：大量微觀粒子的隨機(jī)運(yùn)動(dòng)如何涌現(xiàn)出穩(wěn)定的宏觀定律？本課程強(qiáng)調(diào)物理圖像與方法論，幫助你建立清晰的微觀—宏觀統(tǒng)計(jì)思維，掌握處理多粒子系統(tǒng)和復(fù)雜隨機(jī)過程的一套通用工具。

課程詳情可見：李永樂的統(tǒng)計(jì)物理基礎(chǔ)課

推薦閱讀

1. PRE 速遞：生成擴(kuò)散模型的非平衡物理

2. 熵是什么？一場(chǎng)200年的探索之旅

3. Entropy：最大化熵產(chǎn)生原理能否成為描述達(dá)爾文進(jìn)化的新熱力學(xué)定律？

4. 系統(tǒng)科學(xué)前沿十講：探究復(fù)雜世界演變背后的規(guī)則（二）

5. 集智學(xué)園精品課程免費(fèi)開放，解鎖系統(tǒng)科學(xué)與 AI 新世界

6. 高考分?jǐn)?shù)只是張入場(chǎng)券，你的科研冒險(xiǎn)在這里啟航！

7. 加入集智字幕組：成為復(fù)雜科學(xué)知識(shí)社區(qū)的“織網(wǎng)人”

原標(biāo)題：《物理學(xué)家所理解的熵：從熱力學(xué)、統(tǒng)計(jì)物理，到生成模型》

閱讀原文