《人工神經(jīng)網(wǎng)絡技術》PPT課件.ppt

《《人工神經(jīng)網(wǎng)絡技術》PPT課件.ppt》由會員分享，可在線閱讀，更多相關《《人工神經(jīng)網(wǎng)絡技術》PPT課件.ppt（25頁珍藏版）》請在裝配圖網(wǎng)上搜索。

人工神經(jīng)網(wǎng)絡技術,,內容,,,,神經(jīng)網(wǎng)絡工具箱,BP網(wǎng)絡與BP學習算法,神經(jīng)網(wǎng)絡的學習,,人工神經(jīng)網(wǎng)絡概述,神經(jīng)網(wǎng)絡基本數(shù)學模型,人工神經(jīng)網(wǎng)絡概述,人工神經(jīng)網(wǎng)絡（ArtificialNeuralNetwork,ANN），也稱為神經(jīng)網(wǎng)絡（NeuralNetwork,NN），是由大量處理單元廣泛互聯(lián)而成的網(wǎng)絡，是對人腦的抽象、簡化和模擬，反映人腦的基本特征。人工神經(jīng)網(wǎng)絡的研究是從人腦的生理結構出發(fā)來研究人的智能行為，模擬人腦信息處理的功能。它是植根于神經(jīng)系統(tǒng)、數(shù)學、統(tǒng)計學、物理學、計算機科學及工程等學科的一種技術。,,人工神經(jīng)網(wǎng)絡概述,人工神經(jīng)網(wǎng)絡是一種模擬人神經(jīng)網(wǎng)絡行為特征，進行分布式并行信息處理的算法數(shù)學模型。這種網(wǎng)絡依靠系統(tǒng)的復雜程度，通過調整內部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的。人工神經(jīng)網(wǎng)絡具有自學習和自適應的能力，可以通過預先提供的一批相互對應的輸入和輸出數(shù)據(jù)，分析掌握兩者之間潛在的規(guī)律，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)來推算輸出結果。,神經(jīng)網(wǎng)絡基本數(shù)學模型,經(jīng)過對生物神經(jīng)元的長期廣泛研究，1943年美國心理學家麥卡洛克（W.McCulloch）和數(shù)理學家皮茨（W.Pitts）根據(jù)生物神經(jīng)元生物電和生物化學的運行機理提出神經(jīng)元的數(shù)學模型，即著名的MP模型。一個典型的人工神經(jīng)元MP模型如圖所示。,神經(jīng)網(wǎng)絡基本數(shù)學模型,對于網(wǎng)絡中的第i個神經(jīng)元，接受多個其他神經(jīng)元的輸入信號，各連接強度以實系數(shù)表示，即第j個神經(jīng)元對第i個神經(jīng)元作用的權值。利用某種運算把輸入信號的作用結合起來，給出他們的總效果，稱為凈輸入，以表示，凈輸入的表達式有多種類型，最簡單的一種形式是線性加權求和，即：,MP模型的數(shù)學表達式為：,式中，為閥值，是激勵函數(shù)。,神經(jīng)網(wǎng)絡基本數(shù)學模型,激勵函數(shù)可取不同的函數(shù)，它可以是線性的，也可以是非線性的。常用的基本激勵函數(shù)有以下三種；①閥值函數(shù),②分段線性函數(shù),該函數(shù)通常稱為階躍函數(shù)。此外，符號函數(shù)Sgn（t）也常常作為神經(jīng)元的激勵函數(shù)。,神經(jīng)網(wǎng)絡基本數(shù)學模型,③S型函數(shù)S型函數(shù)即Sigmoid函數(shù)。它是人工神經(jīng)網(wǎng)絡中最常用的激勵函數(shù)。S型函數(shù)定義如下：,其中為S型函數(shù)的斜率參數(shù)，通過改變參數(shù)，可以得到不同斜率下的S型函數(shù)。,神經(jīng)網(wǎng)絡的學習,學習功能是神經(jīng)網(wǎng)絡最主要的特征之一，神經(jīng)網(wǎng)絡的學習也稱為訓練，指的是通過神經(jīng)網(wǎng)絡所在環(huán)境的刺激作用調整神經(jīng)網(wǎng)絡的自由參數(shù)，使神經(jīng)網(wǎng)絡以一種新的方式對外部環(huán)境做出反應的一個過程。能夠從環(huán)境中學習和在學習中提高自身性能是神經(jīng)網(wǎng)絡的最有意義的性質。學習算法是指針對學習問題的明確規(guī)則集合。學習類型是由參數(shù)變化發(fā)生的形式?jīng)Q定的，不同的學習算法對神經(jīng)元權值調整的表達式有所不同。沒有一種獨特的學習算法用于設計所有的神經(jīng)網(wǎng)絡。選擇或設計學習算法時還需要考慮神經(jīng)網(wǎng)絡的結構即神經(jīng)網(wǎng)絡與外界環(huán)境相連的形式。,神經(jīng)網(wǎng)絡的學習,神經(jīng)網(wǎng)絡的學習方式可分為兩類：有導師學習和無導師學習。①有導師學習有導師學習又稱為有監(jiān)督學習，在學習時需要給出導師信號或稱為期望輸出。神經(jīng)網(wǎng)絡對外部環(huán)境是未知的，但可以將導師看做對外部環(huán)境的了解，由輸入-輸出樣本集合來表示。導師信號或期望響應代表了神經(jīng)網(wǎng)絡執(zhí)行情況的最佳效果，即對于網(wǎng)絡輸入調整網(wǎng)絡參數(shù)，使得網(wǎng)絡輸出逼近導師信號或期望輸出。,神經(jīng)網(wǎng)絡的學習,②無導師學習無導師學習包括強化學習和無監(jiān)督學習。強化學習是模仿生物在“試探—評價”的環(huán)境中獲得知識，改進行動方案以適應環(huán)境的特點，具有向環(huán)境學習已增長知識的能力。在無監(jiān)督學習中沒有外部導師或評價系統(tǒng)來統(tǒng)觀學習過程，而是提供一個關于網(wǎng)絡學習表示方法質量的測量尺度，根據(jù)該尺度將網(wǎng)絡的自由參數(shù)最優(yōu)化。一旦網(wǎng)絡與輸入數(shù)據(jù)的統(tǒng)計規(guī)律性達成一致，就能夠形成內部表示方法來為輸入特征編碼，并由此自動得出新的類別。,BP網(wǎng)絡與BP學習算法,BP網(wǎng)絡是一種前向多層網(wǎng)絡，是基于誤差反向傳播算法的有導師網(wǎng)絡。BP網(wǎng)絡通常有一個或多個隱層，隱層中的神經(jīng)元均采用S型激活函數(shù)，輸出層神經(jīng)元采用線性傳遞函數(shù)。,x1,o1,輸出層,隱藏層,輸入層,x2,o2,om,xn,…,…,…,…,…,…,…,BP網(wǎng)絡與BP學習算法,BP算法是一種有導師的學習算法，這種算法通常采用梯度下降法。BP算法解決了多層前向網(wǎng)絡的學習問題，促進了神經(jīng)網(wǎng)絡的發(fā)展。如圖所示為多層前向網(wǎng)絡的一部分，其中有兩種信號，一是實線表示的工作信號，工作信號正向傳播；二是用虛線表示的誤差信號，誤差信號反向傳播。,BP網(wǎng)絡與BP學習算法,BP學習過程可以描述如下：①工作信號正向傳播：輸入信號從輸入層經(jīng)隱單元，傳向輸出層，在輸出端產(chǎn)生輸出信號，這是工作信號的正向傳播。在信號向前傳遞過程中網(wǎng)絡的權值是固定不變的，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉入誤差信號反向傳播。②誤差信號反向傳播，網(wǎng)絡的實際輸出與期望輸出之間差值即為誤差信號，誤差信號由輸出端開始逐層反向傳播，這是誤差信號的反向傳播。在誤差信號反向傳播的過程中，網(wǎng)絡的權值由誤差反饋進行調節(jié)。通過權值的不斷修正使網(wǎng)絡的實際輸出更接近期望輸出。,神經(jīng)網(wǎng)絡工具箱,神經(jīng)網(wǎng)絡工具箱是在MATLAB環(huán)境下所開發(fā)出來的眾多工具箱之一，它是以人工神經(jīng)網(wǎng)絡理論為基礎，用MATLAB語言構造出典型神經(jīng)網(wǎng)絡的激活函數(shù)，如S型、線性、競爭層、飽和線性等激活函數(shù)，使設計者對所選定網(wǎng)絡輸出的計算變成對激活函數(shù)的調用。另外，根據(jù)各種典型的網(wǎng)絡學習算法，加上網(wǎng)絡的訓練過程，用MATLAB編寫出各種網(wǎng)絡設計與訓練的子程序，網(wǎng)絡的設計者則可以根據(jù)自己的需要去調用工具箱中有關神經(jīng)網(wǎng)絡的設計學習程序，使自己能夠從繁瑣的編程中解脫出來，集中精力去思考和解決所關注的問題。,神經(jīng)網(wǎng)絡工具箱,在MATLAB的命令窗口鍵入“nntool”命令，即可進入下圖所示的圖形用戶窗口界面（GUI）。,神經(jīng)網(wǎng)絡工具箱,示例利用神經(jīng)網(wǎng)絡工具箱設計一個三層BP網(wǎng)絡，使其以較高的精度逼近余弦曲線?；具^程如下：①定義神經(jīng)網(wǎng)絡的訓練樣本數(shù)據(jù)（輸入矢量和目標矢量）%訓練樣本集：200個[-1,+1]區(qū)間隨機數(shù)x=rands(1,200);%與x對應的目標矢量，即與x對應的真實余弦值y=cos(pi*x);%建立樣本數(shù)據(jù)文件savedataxy;,神經(jīng)網(wǎng)絡工具箱,②導入訓練樣本數(shù)據(jù)在工作空間或文件中生成所需的數(shù)據(jù)，然后點擊Import按鈕將數(shù)據(jù)導入。,神經(jīng)網(wǎng)絡工具箱,③創(chuàng)建神經(jīng)網(wǎng)絡在圖形窗口主界面中點擊“NewNetwork”，進入創(chuàng)建神經(jīng)網(wǎng)絡界面。在該界面中進行對神經(jīng)網(wǎng)絡的名稱、類型、結構和訓練函數(shù)等參數(shù)的設置。,神經(jīng)網(wǎng)絡工具箱,④網(wǎng)絡的初始化在神經(jīng)網(wǎng)絡創(chuàng)建完成之后，網(wǎng)絡的權值和閥值已自動進行了初始化。在網(wǎng)絡結構顯示界面中，可直接點擊Weights標簽，對當前網(wǎng)絡進行權和閥值參數(shù)的顯示和編輯。,神經(jīng)網(wǎng)絡工具箱,⑤神經(jīng)網(wǎng)絡的訓練在網(wǎng)絡結構顯示界面中點擊Train標簽進入網(wǎng)絡訓練界面。,神經(jīng)網(wǎng)絡工具箱,⑥仿真（網(wǎng)絡的檢驗）在網(wǎng)絡結構顯示界面中點擊Simulate進入仿真界面。定義檢驗樣本數(shù)據(jù)t：t=-1:0.02:1;,神經(jīng)網(wǎng)絡工具箱,⑦訓練結果和數(shù)據(jù)導出在圖形用戶窗口主界面點擊Export按鈕，彈出如圖所示結果導出界面。,神經(jīng)網(wǎng)絡工具箱,在命令行鍵入如下命令可以得到如圖所示的逼近曲線。Plot（bpnet_outputs_sim）,以上仿真結果表明，一個隱含層僅有10個神經(jīng)元的BP網(wǎng)絡就可以很好的擬合一個余弦函數(shù)。,ThankYou!,