人工智能中的深度結構學習 下載 mobi epub pdf 電子書 在線閱讀 2026

內容簡介

以人工智能為代錶的新技術正在給人們的生産和生活方式帶來革命性變化。人工智能技術試圖瞭解智能的本質，並産生一種新的能以人類智能相似的方式做齣反應的智能機器。讓計算機理解現實世界中諸如圖像，語音和語言等數據所蘊含的高層次抽象信息，並加以利用，是該領域大的挑戰之一。諸多理論和實踐成果錶明，以深度神經網絡為代錶的“深度結構”是解決該問題的重要工具之一。
本書詳細論述瞭采用深度結構的動機、原理和理論依據，討論瞭訓練深度神經網絡的難點，繼而詳盡的介紹瞭自動編碼器、受限玻爾茲曼機以及深度置信網絡的概念和理論，並進行瞭理論分析。本書是深入理解深度學習的動機和原理的經典之作。

精彩書評

Bengio教授的這部專著是深度學習的經典，是瞭解深度學習技術的必讀書目。書中有許多亮點，比如，作者從統計效率的角度論述瞭深度神經網絡的優點，揭示瞭深度學習強大學習能力的本質。俞凱教授將該書翻譯成中文，一定能幫助國內讀者更準確細緻地瞭解其內容，推動深度學習知識的普及，實在是功不可沒！

李航 華為諾亞方舟實驗室主任，IEEE Fellow

深入理解深度學習的理論是高效運用具體算法的基礎。Yoshua Bengio教授的這部力作是深入理解深度學習動機的經典之作。俞凱教授對此書的翻譯行文清晰、概念嚴謹，將英文原著中的長段論述以符閤中國人邏輯的方式進行意譯，忠實而易懂地錶達瞭原著。這對於促進國內學生或研究者深入理解深度學習本質，探索新的研究方嚮具有很大的價值。雖然這個英文單行版已有八年的曆史且作者一年前齣版瞭更新的關於深度學習的書, 俞教授翻譯的這本中文版仍值得細讀, 尤其對中國讀者。

鄧力 Citadel首席人工智能官，前微軟人工智能首席科學傢，IEEE Fellow

深度學習是人工智能的一個突破。這個突破的意義就是我們常說的“由量變到質變”的變化過程。Yoshua Bengio教授所著的“人工智能中的深度結構學習”這本書，通過俞凱教授的中文翻譯，旨在闡述深度結構和學習效果之間的內在聯係。此書分析透徹，解釋清楚，給齣瞭很多有用的實例。 不管是初涉深度學習的學生，還是在深入探索中的研究者，這本書都會提供非常好的幫助。 所以，我高度推薦這本書。

楊強 香港科技大學計算機係主任，IEEE Fellow、AAAI Fellow

目錄

譯者序
1　引言1
1.1　如何訓練深度結構3
1.2　中間層錶示：在不同的任務中共享特徵和抽象4
1.3　學習人工智能的必經之路5
1.4　本書大綱6
2　深度結構的理論優勢8
2.1　計算復雜性10
2.2　一些非正式的論證11
3　局部與非局部泛化性13
3.1　局部模闆匹配的局限性13
3.2　學習分布式錶示17
4　具有深度結構的神經網絡19
4.1　多層神經網絡19
4.2　訓練深度神經網絡的挑戰20
4.3　深度結構的無監督學習25
4.4　深度生成結構26
4.5　捲積神經網絡28
4.6　自動編碼器29
5　能量模型和玻爾茲曼機31
5.1　能量模型和專傢乘積係統31
5.2　玻爾茲曼機34
5.3　受限玻爾茲曼機36
5.4　對比散度39
目　　錄Ⅴ
6　深層結構的逐層貪心訓練46
6.1　深度置信網絡的逐層訓練46
6.2　堆疊自動編碼器訓練48
6.3　半監督與部分監督訓練49
7　受限玻爾茲曼機和自動編碼器的變體51
7.1　自動編碼器和受限玻爾茲曼機的稀疏化錶示51
7.2　降噪自動編碼器55
7.3　層內連接56
7.4　條件ＲＢＭ和時序ＲＢＭ 57
7.5　分解式ＲＢＭ 59
7.6　受限玻爾茲曼機和對比散度的推廣59
8　ＤＢＮ各層聯閤優化中的隨機變分邊界62
8.1　將ＲＢＭ展開為無限有嚮置信網絡62
8.2　逐層貪心訓練的變分證明64
8.3　所有層的聯閤無監督訓練66
9　展望69
9.1　全局優化策略69
9.2　無監督學習的重要性72
9.3　開放的問題73
10　總結76
緻謝78
參考文獻79

精彩書摘

　　《人工智能中的深度結構學習》：
　　這些不同的配置相互間是競爭關係，當選擇一個時，其他配置被完全關閉。這有好處也有壞處。好處是，如果一個事件比其他概率更大，那麼它就是我們所想強調的。壞處就是，這使得最終編碼一定程度上不穩定，輸入x的一個微小波動，會使得最優化的編碼h的值大相徑庭。當把h作為輸入去學習更高層的變換或分類器時，這種不穩定性將會引起麻煩。事實上，如果相似的輸入卻在稀疏編碼層導緻非常不同的輸齣，這會使得模型的泛化更加睏難。這也是一些研究者一直試圖解決的缺點。盡管我們可以有效的優化式（7.1），但它與采用常規的自動編碼器和受限玻爾茲曼機來計算編碼相比，仍然要慢上百倍，這導緻訓練和識彆過程都非常的慢。
　　另一個與穩定性相關的問題是，如何對深度結構中的高層基矩陣W進行聯閤優化。從精細調整編碼使其專注在信號最具有區分度的方麵的目標上看，這個特彆重要。正如第9.1.2節所提到的，當用判彆性準則去精調深度結構的所有層時，可以顯著改進識彆錯誤。原則上，可以通過編碼的優化來計算梯度。但是如果優化的結果不穩定，則梯度可能不存在或者在計算上不可靠。為瞭解決穩定性問題和上述的精調問題，文獻（6）提齣用更柔和的近似代替l1懲罰，其隻是近似地産生稀疏係數（即許多非常小的係數，實際上沒有收斂到0）。
　　……

深度結構學習：解鎖復雜數據與模型的新範式 一、 當今數據爆炸與模型演進的挑戰 我們正處在一個信息爆炸的時代，海量的數據以前所未有的速度生成和纍積。這些數據形態各異，來源廣泛，從社交媒體上的文本、圖像、視頻，到基因測序的序列數據，再到物聯網設備産生的傳感器讀數，無不蘊藏著巨大的價值。然而，如何有效地從這些海量、高維度、非結構化的數據中提取有意義的信息，並構建能夠理解和處理這些復雜模式的模型，成為瞭當前人工智能領域麵臨的核心挑戰。 傳統的機器學習方法，雖然在許多領域取得瞭顯著成就，但在處理大規模、復雜的真實世界數據時，其局限性逐漸顯現。它們往往需要大量的手工特徵工程，對數據的假設也較為嚴格，難以捕捉數據深層次的、非綫性的關聯。為瞭剋服這些限製，研究者們一直在探索更強大的模型架構和學習範式，以期能夠直接從原始數據中學習到層次化的、抽象的特徵錶示，並構建齣更加魯棒、高效、泛化的智能係統。 二、 深度學習的崛起與結構化錶示的缺失 深度學習的齣現，無疑是人工智能領域的一場革命。通過構建具有多層非綫性變換的神經網絡，深度學習模型能夠自動學習數據的分層特徵錶示，從低級的像素、詞匯等原始特徵，逐層抽象到高級的概念、語義等。這種端到端的學習方式，極大地解放瞭研究者和工程師從繁瑣的特徵工程中，使得在圖像識彆、自然語言處理、語音識彆等領域取得瞭突破性的進展。 然而，盡管深度學習取得瞭巨大成功，但其在處理具有內在結構信息的數據時，仍然存在一些挑戰。許多現實世界的數據，例如分子結構、蛋白質序列、知識圖譜、社交網絡、時間序列等，都不僅僅是簡單的像素點或詞語的集閤，它們蘊含著豐富的、可被顯式描述的結構關係。例如，分子的原子連接方式決定瞭其化學性質；蛋白質的氨基酸序列摺疊形成的3D結構決定瞭其功能；知識圖譜中的實體和關係構成瞭世界的知識網絡；社交網絡中的用戶連接關係影響著信息傳播。 傳統的深度學習模型，如捲積神經網絡（CNN）主要擅長處理具有網格狀結構的數據（如圖像），循環神經網絡（RNN）或長短期記憶網絡（LSTM）則適用於序列數據。而對於圖結構、樹結構、序列的序列等更復雜的、非歐幾裏得度量的結構數據，直接應用這些模型往往難以充分捕捉其內在的結構信息，導緻模型性能的瓶頸。如何將深度學習強大的特徵提取能力與數據本身的結構化信息有效結閤，成為瞭下一階段研究的焦點。 三、 深度結構學習：融閤深度學習與結構化信息的力量 “深度結構學習”（Deep Structured Learning）這一概念的提齣，正是為瞭應對上述挑戰，它旨在構建一類能夠同時學習數據錶示的深度層次，並有效利用和建模數據內在結構信息的學習框架。它不是簡單地將深度學習應用於結構化數據，而是探索一種更加本質的融閤，讓模型的學習過程能夠“理解”並“利用”數據的結構。 深度結構學習的核心思想在於，將數據的結構信息融入到模型的學習過程中，或者將學習到的深層錶示映射到具有結構特性的空間中。這可以通過多種方式實現： 結構化的模型架構設計： 設計齣能夠直接處理特定結構數據的神經網絡架構。例如，圖神經網絡（GNN）及其變種，如圖捲積網絡（GCN）、圖注意力網絡（GAT）等，能夠直接在圖結構數據上進行信息傳播和聚閤，學習節點的錶示。對於樹形結構，可以設計專門的樹形捲積網絡。對於序列的序列，可以利用注意力機製來捕捉不同序列之間的關聯。 結構化的損失函數與優化： 在模型的訓練過程中，引入與數據結構相關的約束或奬勵。例如，在處理分子性質預測時，可以加入基於化學鍵的損失項；在處理知識圖譜補全時，可以利用已有的三元組關係來約束模型輸齣。 結構化的錶徵學習： 學習一種能夠顯式地編碼結構信息的低維嚮量錶示。例如，通過圖嵌入技術將圖節點映射到低維嚮量空間，同時保持節點之間的結構相似性。 生成式模型與結構約束： 利用生成模型，如變分自編碼器（VAE）或生成對抗網絡（GAN），來生成具有特定結構的數據，並在生成過程中施加結構約束。 四、 深度結構學習的關鍵技術與研究方嚮 深度結構學習是一個廣闊且充滿活力的研究領域，其中包含瞭許多關鍵的技術和正在蓬勃發展的研究方嚮： 1. 圖神經網絡（Graph Neural Networks, GNNs）： 這是深度結構學習領域最重要和活躍的研究方嚮之一。GNNs 旨在直接在圖結構數據上進行學習。其核心思想是通過迭代地聚閤鄰居節點的信息來更新中心節點的錶示。各種 GNNs 的變種，如 GCN, GAT, GraphSAGE, MPNN 等，在分子性質預測、藥物發現、社交網絡分析、推薦係統、知識圖譜推理等領域取得瞭巨大成功。研究者們正在探索更高效、可擴展、可解釋的 GNNs，以及如何處理動態圖、異構圖等復雜圖結構。 2. 可微分的結構學習： 傳統上，模型的結構往往是預先設定的，而深度結構學習則嘗試將結構的發現和優化也納入到可學習的範疇中。例如，通過可微分的圖構建方法，在訓練過程中動態地學習節點之間的連接關係。 3. 基於注意力的模型與序列的序列： 注意力機製（Attention Mechanism）在自然語言處理中取得瞭巨大成功，尤其是在 Transformer 模型中。這種機製能夠讓模型在處理序列時，動態地關注輸入序列的不同部分，從而捕捉長距離依賴關係。這種思想也被推廣到處理“序列的序列”問題，例如機器翻譯（將源語言序列翻譯成目標語言序列），或者更一般的，通過注意力機製來建模不同結構之間的關係。 4. 結構化預測模型： 針對需要輸齣具有特定結構的結果的任務，例如目標檢測中的邊界框預測，或者語義分割中的像素區域劃分。這些任務不僅僅是獨立的分類或迴歸，輸齣的結果之間存在著空間或邏輯上的關聯。深度結構學習的框架可以更好地建模這些結構化輸齣。 5. 知識圖譜與語義錶示： 知識圖譜作為一種重要的結構化知識錶示方式，其推理和補全任務是深度結構學習的重要應用場景。利用 GNNs 或其他結構化模型來學習知識圖譜中的實體和關係錶示，並進行鏈接預測、實體對齊等任務，能夠極大地提升人工智能係統的常識推理能力。 6. 可解釋性與安全性： 隨著深度結構學習模型在關鍵領域的應用越來越廣泛，其可解釋性和安全性也變得尤為重要。如何理解模型為什麼會做齣某個決策，以及如何保證模型不會被惡意攻擊，是當前研究的重點。 五、 深度結構學習的應用前景 深度結構學習的齣現，為解決一係列復雜數據和模型問題提供瞭新的思路和強大的工具。其應用前景極其廣闊，涵蓋瞭眾多領域： 科學研究： 藥物發現與材料設計： 通過學習分子的3D結構和化學性質，預測新藥的有效性和副作用，設計具有特定功能的材料。 蛋白質結構預測與功能分析： 準確預測蛋白質的三維結構，理解其生物功能，為疾病治療和生命科學研究提供重要支撐。 氣候建模與環境保護： 分析復雜的地理空間數據和時間序列數據，構建更精準的氣候模型，預測環境變化。 信息技術： 推薦係統： 深入理解用戶與物品之間的復雜關係（如用戶社交關係、物品類彆關聯），構建更精準的個性化推薦。 知識圖譜構建與推理： 自動構建和更新知識圖譜，提升搜索引擎、問答係統、智能助手的智能水平。 社交網絡分析： 識彆虛假信息傳播，預測流行趨勢，理解群體行為。 交通流量預測與路徑規劃： 建模復雜的城市交通網絡，實現更高效的交通管理和路徑優化。 醫療健康： 疾病診斷與預後預測： 分析醫學影像、基因組數據、電子病曆等結構化與非結構化數據，輔助醫生進行診斷和預測。 個性化醫療： 基於個體的基因組信息、生活習慣等，製定更具針對性的治療方案。 金融領域： 風險評估與欺詐檢測： 分析復雜的交易網絡和客戶關係，識彆潛在的金融風險和欺詐行為。 量化交易： 建模金融市場的復雜動態，發現交易機會。 六、 展望未來：構建更智能、更通用的AI係統 深度結構學習的探索，不僅僅是為瞭提升在特定任務上的模型性能，更是為瞭構建更加通用、魯棒、智能的人工智能係統。通過深入理解和利用數據的結構信息，我們可以設計齣能夠處理更廣泛、更復雜問題的模型，讓 AI 能夠更好地理解我們所處的這個充滿結構化世界。 我們相信，隨著研究的不斷深入，深度結構學習將成為未來人工智能發展的關鍵驅動力之一，為解決人類社會麵臨的重大挑戰提供強大的技術支撐。這是一個激動人心的時代，深度結構學習的無限可能，正等待著我們去探索和實現。