《人工神經網絡技術》PPT課件.ppt

《《人工神經網絡技術》PPT課件.ppt》由會員分享，可在線閱讀，更多相關《《人工神經網絡技術》PPT課件.ppt（25頁珍藏版）》請在裝配圖網上搜索。

人工神經網絡技術,,內容,,,,神經網絡工具箱,BP網絡與BP學習算法,神經網絡的學習,,人工神經網絡概述,神經網絡基本數學模型,人工神經網絡概述,人工神經網絡（ArtificialNeuralNetwork,ANN），也稱為神經網絡（NeuralNetwork,NN），是由大量處理單元廣泛互聯而成的網絡，是對人腦的抽象、簡化和模擬，反映人腦的基本特征。人工神經網絡的研究是從人腦的生理結構出發(fā)來研究人的智能行為，模擬人腦信息處理的功能。它是植根于神經系統(tǒng)、數學、統(tǒng)計學、物理學、計算機科學及工程等學科的一種技術。,,人工神經網絡概述,人工神經網絡是一種模擬人神經網絡行為特征，進行分布式并行信息處理的算法數學模型。這種網絡依靠系統(tǒng)的復雜程度，通過調整內部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的。人工神經網絡具有自學習和自適應的能力，可以通過預先提供的一批相互對應的輸入和輸出數據，分析掌握兩者之間潛在的規(guī)律，最終根據這些規(guī)律，用新的輸入數據來推算輸出結果。,神經網絡基本數學模型,經過對生物神經元的長期廣泛研究，1943年美國心理學家麥卡洛克（W.McCulloch）和數理學家皮茨（W.Pitts）根據生物神經元生物電和生物化學的運行機理提出神經元的數學模型，即著名的MP模型。一個典型的人工神經元MP模型如圖所示。,神經網絡基本數學模型,對于網絡中的第i個神經元，接受多個其他神經元的輸入信號，各連接強度以實系數表示，即第j個神經元對第i個神經元作用的權值。利用某種運算把輸入信號的作用結合起來，給出他們的總效果，稱為凈輸入，以表示，凈輸入的表達式有多種類型，最簡單的一種形式是線性加權求和，即：,MP模型的數學表達式為：,式中，為閥值，是激勵函數。,神經網絡基本數學模型,激勵函數可取不同的函數，它可以是線性的，也可以是非線性的。常用的基本激勵函數有以下三種；①閥值函數,②分段線性函數,該函數通常稱為階躍函數。此外，符號函數Sgn（t）也常常作為神經元的激勵函數。,神經網絡基本數學模型,③S型函數S型函數即Sigmoid函數。它是人工神經網絡中最常用的激勵函數。S型函數定義如下：,其中為S型函數的斜率參數，通過改變參數，可以得到不同斜率下的S型函數。,神經網絡的學習,學習功能是神經網絡最主要的特征之一，神經網絡的學習也稱為訓練，指的是通過神經網絡所在環(huán)境的刺激作用調整神經網絡的自由參數，使神經網絡以一種新的方式對外部環(huán)境做出反應的一個過程。能夠從環(huán)境中學習和在學習中提高自身性能是神經網絡的最有意義的性質。學習算法是指針對學習問題的明確規(guī)則集合。學習類型是由參數變化發(fā)生的形式決定的，不同的學習算法對神經元權值調整的表達式有所不同。沒有一種獨特的學習算法用于設計所有的神經網絡。選擇或設計學習算法時還需要考慮神經網絡的結構即神經網絡與外界環(huán)境相連的形式。,神經網絡的學習,神經網絡的學習方式可分為兩類：有導師學習和無導師學習。①有導師學習有導師學習又稱為有監(jiān)督學習，在學習時需要給出導師信號或稱為期望輸出。神經網絡對外部環(huán)境是未知的，但可以將導師看做對外部環(huán)境的了解，由輸入-輸出樣本集合來表示。導師信號或期望響應代表了神經網絡執(zhí)行情況的最佳效果，即對于網絡輸入調整網絡參數，使得網絡輸出逼近導師信號或期望輸出。,神經網絡的學習,②無導師學習無導師學習包括強化學習和無監(jiān)督學習。強化學習是模仿生物在“試探—評價”的環(huán)境中獲得知識，改進行動方案以適應環(huán)境的特點，具有向環(huán)境學習已增長知識的能力。在無監(jiān)督學習中沒有外部導師或評價系統(tǒng)來統(tǒng)觀學習過程，而是提供一個關于網絡學習表示方法質量的測量尺度，根據該尺度將網絡的自由參數最優(yōu)化。一旦網絡與輸入數據的統(tǒng)計規(guī)律性達成一致，就能夠形成內部表示方法來為輸入特征編碼，并由此自動得出新的類別。,BP網絡與BP學習算法,BP網絡是一種前向多層網絡，是基于誤差反向傳播算法的有導師網絡。BP網絡通常有一個或多個隱層，隱層中的神經元均采用S型激活函數，輸出層神經元采用線性傳遞函數。,x1,o1,輸出層,隱藏層,輸入層,x2,o2,om,xn,…,…,…,…,…,…,…,BP網絡與BP學習算法,BP算法是一種有導師的學習算法，這種算法通常采用梯度下降法。BP算法解決了多層前向網絡的學習問題，促進了神經網絡的發(fā)展。如圖所示為多層前向網絡的一部分，其中有兩種信號，一是實線表示的工作信號，工作信號正向傳播；二是用虛線表示的誤差信號，誤差信號反向傳播。,BP網絡與BP學習算法,BP學習過程可以描述如下：①工作信號正向傳播：輸入信號從輸入層經隱單元，傳向輸出層，在輸出端產生輸出信號，這是工作信號的正向傳播。在信號向前傳遞過程中網絡的權值是固定不變的，每一層神經元的狀態(tài)只影響下一層神經元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉入誤差信號反向傳播。②誤差信號反向傳播，網絡的實際輸出與期望輸出之間差值即為誤差信號，誤差信號由輸出端開始逐層反向傳播，這是誤差信號的反向傳播。在誤差信號反向傳播的過程中，網絡的權值由誤差反饋進行調節(jié)。通過權值的不斷修正使網絡的實際輸出更接近期望輸出。,神經網絡工具箱,神經網絡工具箱是在MATLAB環(huán)境下所開發(fā)出來的眾多工具箱之一，它是以人工神經網絡理論為基礎，用MATLAB語言構造出典型神經網絡的激活函數，如S型、線性、競爭層、飽和線性等激活函數，使設計者對所選定網絡輸出的計算變成對激活函數的調用。另外，根據各種典型的網絡學習算法，加上網絡的訓練過程，用MATLAB編寫出各種網絡設計與訓練的子程序，網絡的設計者則可以根據自己的需要去調用工具箱中有關神經網絡的設計學習程序，使自己能夠從繁瑣的編程中解脫出來，集中精力去思考和解決所關注的問題。,神經網絡工具箱,在MATLAB的命令窗口鍵入“nntool”命令，即可進入下圖所示的圖形用戶窗口界面（GUI）。,神經網絡工具箱,示例利用神經網絡工具箱設計一個三層BP網絡，使其以較高的精度逼近余弦曲線。基本過程如下：①定義神經網絡的訓練樣本數據（輸入矢量和目標矢量）%訓練樣本集：200個[-1,+1]區(qū)間隨機數x=rands(1,200);%與x對應的目標矢量，即與x對應的真實余弦值y=cos(pi*x);%建立樣本數據文件savedataxy;,神經網絡工具箱,②導入訓練樣本數據在工作空間或文件中生成所需的數據，然后點擊Import按鈕將數據導入。,神經網絡工具箱,③創(chuàng)建神經網絡在圖形窗口主界面中點擊“NewNetwork”，進入創(chuàng)建神經網絡界面。在該界面中進行對神經網絡的名稱、類型、結構和訓練函數等參數的設置。,神經網絡工具箱,④網絡的初始化在神經網絡創(chuàng)建完成之后，網絡的權值和閥值已自動進行了初始化。在網絡結構顯示界面中，可直接點擊Weights標簽，對當前網絡進行權和閥值參數的顯示和編輯。,神經網絡工具箱,⑤神經網絡的訓練在網絡結構顯示界面中點擊Train標簽進入網絡訓練界面。,神經網絡工具箱,⑥仿真（網絡的檢驗）在網絡結構顯示界面中點擊Simulate進入仿真界面。定義檢驗樣本數據t：t=-1:0.02:1;,神經網絡工具箱,⑦訓練結果和數據導出在圖形用戶窗口主界面點擊Export按鈕，彈出如圖所示結果導出界面。,神經網絡工具箱,在命令行鍵入如下命令可以得到如圖所示的逼近曲線。Plot（bpnet_outputs_sim）,以上仿真結果表明，一個隱含層僅有10個神經元的BP網絡就可以很好的擬合一個余弦函數。,ThankYou!,