《測試智能信息處理》PPT課件.ppt

《《測試智能信息處理》PPT課件.ppt》由會員分享，可在線閱讀，更多相關《《測試智能信息處理》PPT課件.ppt（38頁珍藏版）》請在裝配圖網(wǎng)上搜索。

4/26/2020,1,數(shù)據(jù)結構,智能信息處理與算法IntelligentInformationProcessingandAlgorithm李勇明yongmingli@重慶大學通信工程學院,一、智能信息處理是一門綜合性的交叉學科，是信息科學的前沿領域，主要研究利用智能技術對信息進行處理的理論、方法與技術。二、開設智能信息處理課程的必要性：國家信息化發(fā)展的需要；學科理論發(fā)展的需要；培養(yǎng)高素質信息處理人才的需要。國家《2006—2020年國家信息化發(fā)展戰(zhàn)略》規(guī)劃中指出，信息化是充分利用信息技術，開發(fā)利用信息資源，促進信息交流和共享，提高經(jīng)濟增長質量，推動經(jīng)濟社會發(fā)展轉型的歷史進程。20世紀90年代以來，信息技術不斷創(chuàng)新，信息產(chǎn)業(yè)持續(xù)發(fā)展，信息網(wǎng)絡廣泛普及，信息化成為全球經(jīng)濟社會發(fā)展的顯著特征，并逐步向一場全方位的社會變革演進。,課程說明,三、智能信息處理研究的主要內容——概述——具體主要智能信息處理方法——智能信息處理方法的實現(xiàn)及應用研究四、智能信息處理的特點（1）智能信息處理是人工智能與信號信息處理相結合的產(chǎn)物（2）智能信息處理的基礎理論：數(shù)據(jù)融合、神經(jīng)計算、模糊計算、進化計算，等,（3）以智能信息處理為主要計算方法智能信息處理：是人工智能技術與信息技術結合的產(chǎn)物，廣泛地模擬人的智能來處理各種復雜信息，包括非結構化信息、海量信息、不完全信息、不確定信息、模糊信息、多媒體信息、時間空間信息、認知信息等。主要技術與方法：數(shù)學統(tǒng)計、神經(jīng)網(wǎng)絡信息處理、模糊計算、進化計算，等。五、智能信息處理的應用智能通信、機器人、智能信號與信息處理、智能交通、智能醫(yī)療，等,第1章概述,信息技術組成部分主要歷史發(fā)展主要技術分類目前研究現(xiàn)狀和趨勢,信息技術組成部分,,信息獲取,信息傳輸,信息處理,信息應用,,,,信息源,,1.1智能計算及其主要發(fā)展歷史,20世紀90年代，符號物理和連接機制結合1992年，智能計算依靠數(shù)字材料生物智能、人工智能、智能計算人工神經(jīng)網(wǎng)絡為主導，與模糊邏輯系統(tǒng)、進化計算以及信號與信息學科的綜合集成人工神經(jīng)網(wǎng)絡特點：并行性、互連性、存儲分布性、非線性、容錯性、結構可變性、計算非精確性模糊計算特點：非確定性進化計算特點：并行性、隨機性,1.2智能信息處理的主要技術,神經(jīng)計算技術BP,RBF,Hopfield,隨機型,自組織競爭型權值計算，優(yōu)化，軟硬件實現(xiàn)，應用模糊計算技術模糊邏輯，粗糙集應用進化計算技術GA,Tabu，PSO，ACO軟硬件實現(xiàn)，應用,1.2.1神經(jīng)計算技術,NAPAN的提出和簡化非線性（nonlinear），適應的（adaptive），并行的（parallel），模擬的（analogy），網(wǎng)絡（network）神經(jīng)網(wǎng)絡接近人腦的表現(xiàn)與符號主義的區(qū)別前者：認知的基本元素是神經(jīng)細胞，認知過程是大量神經(jīng)細胞的連接引起神經(jīng)細胞的不同興奮狀態(tài)和系統(tǒng)表現(xiàn)出的總體行為。后者：認知的基本元素是符號，認知過程是對符號表示的運算。PCASVM,神經(jīng)軸突與人工神經(jīng)網(wǎng)絡簡圖,,神經(jīng)網(wǎng)絡接近人腦的表現(xiàn),能夠處理連續(xù)的模擬信號（例如連續(xù)變換的圖像信號）能夠處理不精確的、不完全的模糊信息。馮.諾依曼計算機給出的是精確解，神經(jīng)網(wǎng)絡給出的是次最優(yōu)的逼近解。神經(jīng)網(wǎng)絡并行分布工作，各組成部分同時參與計算；單個神經(jīng)元的動作速度不快，但網(wǎng)絡總體的處理速度極快。神經(jīng)網(wǎng)絡具有魯棒性，即信息分布于整個網(wǎng)絡各個權重變換之中，某些單元的障礙不會影響網(wǎng)絡的整體信息處理功能。神經(jīng)網(wǎng)絡具有較好的容錯性，即在只有部分輸入條件，甚至包含了錯誤輸入條件的情況下，網(wǎng)絡也能給出正確的解。神經(jīng)網(wǎng)絡在處理自然語言理解、圖像識別、智能機器人控制等疑難問題方面具有獨特的優(yōu)勢。,PCA（principalcomponentsanalysis）,一種簡化數(shù)據(jù)集的技術。它是一個線性變換。這個變換把數(shù)據(jù)變換到一個新的坐標系統(tǒng)中，使得任何數(shù)據(jù)投影的第一大方差在第一個坐標（稱為第一主成分）上，第二大方差在第二個坐標（第二主成分）上，依次類推。主成分分析經(jīng)常用減少數(shù)據(jù)集的維數(shù)，同時保持數(shù)據(jù)集的對方差貢獻最大的特征。設法將原來變量重新組合成一組新的互相無關的幾個綜合變量，同時根據(jù)實際需要從中可以取出幾個較少的綜合變量盡可能多地反映原來變量的信息的統(tǒng)計方法叫做主成分分析或稱主分量分析，也是數(shù)學上處理降維的一種方法。與用全維觀測空間相比，可以更好的推廣到獨立于訓練集的數(shù)據(jù)時間代價小,SVM,支持向量機是將向量映射到一個更高維的空間里，在這個空間里建立有一個最大間隔超平面。在分開數(shù)據(jù)的超平面的兩邊建有兩個互相平行的超平面。分隔超平面使兩個平行超平面的距離最大化。假定平行超平面間的距離或差距越大，分類器的總誤差越小。對支持向量的分類等價于對整個樣本集的分類針對小樣本情況,1.2.2模糊計算技術,模糊理論的提出（不相容原理）與其它方法的主要區(qū)別無需提供數(shù)據(jù)之外的先驗信息,模糊邏輯,模仿人腦的不確定性概念判斷、推理思維方式，對于模型未知或不能確定的描述系統(tǒng)，應用模糊集合和模糊規(guī)則進行推理，表達過渡性界限或定性知識經(jīng)驗，模擬人腦方式，實行模糊綜合判斷，推理解決常規(guī)方法難于對付的規(guī)則型模糊信息問題。模糊邏輯善于表達界限不清晰的定性知識與經(jīng)驗，它借助于隸屬度函數(shù)概念，區(qū)分模糊集合，處理模糊關系，模擬人腦實施規(guī)則型推理，解決因“排中律”的邏輯破缺產(chǎn)生的種種不確定問題。處理部分真實概念的布爾邏輯擴展。經(jīng)典邏輯堅持所有事物(陳述)都可以用二元項(0或1，黑或白，是或否)來表達，而模糊邏輯用真實度替代了布爾真值。這些陳述表示實際上接近于日常人們的問題和語意陳述，因為“真實”和結果在多數(shù)時候是部分(非二元)的和/或不精確的(不準確的，不清晰的，模糊的)。應用,,,1.2.3粗糙集,它是一種刻劃不完整性和不確定性的數(shù)學工具,能有效地分析不精確,不一致,不完整等各種不完備的信息,還可以對數(shù)據(jù)進行分析和推理,從中發(fā)現(xiàn)隱含的知識,揭示潛在的規(guī)律.粗糙集理論是建立在分類機制的基礎上的,它將分類理解為在特定空間上的等價關系,而等價關系構成了對該空間的劃分.粗糙集理論將知識理解為對數(shù)據(jù)的劃分,每一被劃分的集合稱為概念.粗糙集理論的主要思想是利用已知的知識庫,將不精確或不確定的知識用已知的知識庫中的知識來(近似)刻畫.該理論與其他處理不確定和不精確問題理論的最顯著的區(qū)別是它無需提供問題所需處理的數(shù)據(jù)集合之外的任何先驗信息,所以對問題的不確定性的描述或處理可以說是比較客觀的,應用舉例,,1.2.4進化計算技術,為什么要研究？遺傳算法蟻群算法微粒群算法（粒子群算法）,為什么？,,遺傳算法（GeneticAlgorithm，GA）,在遺傳算法里，優(yōu)化問題的解被稱為個體，它表示為一個變量序列，叫做染色體或者基因串。染色體一般被表達為簡單的字符串或數(shù)字串，不過也有其他的依賴于特殊問題的表示方法適用，這一過程稱為編碼。首先，算法隨機生成一定數(shù)量的個體，有時候操作者也可以對這個隨機產(chǎn)生過程進行干預，以提高初始種群的質量。在每一代中，每一個個體都被評價，并通過計算適應度函數(shù)得到一個適應度數(shù)值。種群中的個體被按照適應度排序，適應度高的在前面。這里的“高”是相對于初始的種群的低適應度來說的。,算法主要流程,算法選擇初始生命種群循環(huán)評價種群中的個體適應度以比例原則（分數(shù)高的挑中機率也較高）選擇產(chǎn)生下一個種群（輪盤法roulettewheelselection、競爭法tournamentselection及等級輪盤法RankBasedWheelSelection）。不僅僅挑分數(shù)最高的的原因是這么做可能收斂到局部的最佳點，而非整體的。改變該種群（交叉和變異）直到停止循環(huán)的條件滿足,主要參數(shù),種群規(guī)模(P,populationsize)：即種群中染色體個體的數(shù)目。字串長度(l,stringlength)交叉概率(pc,probabilityofperformingcrossover)：控制著交叉算子的使用頻率。交叉操作可以加快收斂，使解達到最有希望的最優(yōu)解區(qū)域，因此一般取較大的交叉概率，但交叉概率太高也可能導致過早收斂。變異概率(pm,probabilityofmutation)：控制著變異算子的使用頻率。中止條件(terminationcriteria),應用,遺傳計算、遺傳編程、遺傳學習優(yōu)化神經(jīng)網(wǎng)絡數(shù)值優(yōu)化、圖像處理、儀器參數(shù)優(yōu)化、工程設計，搜索，等,蟻群算法（AntColonyOptimization，ACO）,是一種用來在圖中尋找優(yōu)化路徑的機率型算法。它由MarcoDorigo于1992年在他的博士論文中提出，其靈感來源于螞蟻在尋找食物過程中發(fā)現(xiàn)路徑的行為。蟻群算法是一種模擬進化算法,初步的研究表明該算法具有許多優(yōu)良的性質.針對PID控制器參數(shù)優(yōu)化設計問題,將蟻群算法設計的結果與遺傳算法設計的結果進行了比較,數(shù)值仿真結果表明,蟻群算法具有一種新的模擬進化優(yōu)化方法的有效性和應用價值,主要規(guī)則,,主要參數(shù),最大信息素：螞蟻在一開始擁有的信息素總量，越大表示程序在較長一段時間能夠存在信息素。信息素消減的速度：隨著時間的流逝，已經(jīng)存在于世界上的信息素會消減，這個數(shù)值越大，那么消減的越快。錯誤概率：表示這個螞蟻不往信息素最大的區(qū)域走的概率，越大則表示這個螞蟻越有創(chuàng)新性。速度半徑：表示螞蟻一次能走的最大長度，也表示這個螞蟻的感知范圍。記憶能力：表示螞蟻能記住多少個剛剛走過點的坐標，這個值避免了螞蟻在本地打轉，停滯不前。而這個值越大那么整個系統(tǒng)運行速度就慢，越小則螞蟻越容易原地轉圈。,粒子群算法（ParticleSwarmOptimization，PSO）,PSO算法屬于進化算法的一種，和遺傳算法相似，它也是從隨機解出發(fā)，通過迭代尋找最優(yōu)解，它也是通過適應度來評價解的品質，但它比遺傳算法規(guī)則更為簡單，它沒有遺傳算法的“交叉”(Crossover)和“變異”(Mutation)操作，它通過追隨當前搜索到的最優(yōu)值來尋找全局最優(yōu)。這種算法以其實現(xiàn)容易、精度高、收斂快等優(yōu)點引起了學術界的重視，并且在解決實際問題中展示了其優(yōu)越性。,PSO的特點,實數(shù)編碼隨機化沒有遺傳操作如交叉(crossover)和變異(mutation).而是根據(jù)自己的速度來決定搜索。粒子有記憶。,PSO的應用,優(yōu)化神經(jīng)網(wǎng)絡連接權重，結構（拓撲結構，傳遞函數(shù)），學習算法數(shù)值優(yōu)化圖像處理、儀器參數(shù)優(yōu)化、工程設計，搜索，等,1.3智能技術的綜合集成,模糊系統(tǒng)與神經(jīng)網(wǎng)絡結合神經(jīng)網(wǎng)絡和遺傳算法結合模糊技術、神經(jīng)網(wǎng)絡和遺傳算法綜合集成智能計算研究展望神經(jīng)網(wǎng)絡與模糊系統(tǒng)和進化計算結合神經(jīng)網(wǎng)絡與模糊及混沌三者結合神經(jīng)網(wǎng)絡與近代信號處理方法小波、分形結合專家系統(tǒng)與模糊邏輯、神經(jīng)網(wǎng)絡結合,1.3.1模糊系統(tǒng)與神經(jīng)網(wǎng)絡結合,1、各自優(yōu)點：模糊技術以模糊邏輯為基礎，抓住了人類思維中的模糊特點，以模仿人的模糊綜合判斷推理來處理常規(guī)方法難以解決的模糊信息處理難題。神經(jīng)網(wǎng)絡以生物神經(jīng)網(wǎng)絡為模擬基礎，試圖在模擬推理及自動學習等方面向前發(fā)展一步，使人工智能更接近人腦的自組織和并行處理等功能。2、互補性：將模糊技術引入神經(jīng)網(wǎng)絡可以使其處理不精確信息。3、相似點：都著眼于模擬人的思維；形式上有不少相似之處。,1.3.2神經(jīng)網(wǎng)絡和遺傳算法結合,1、輔助式結合1）遺傳算法對信息進行預處理，然后用神經(jīng)網(wǎng)絡求解問題；2）神經(jīng)網(wǎng)絡對信息進行預處理，然后用遺傳算法求解問題。2、合作式結合1）利用遺傳算法來優(yōu)化神經(jīng)網(wǎng)絡連接權值；2）利用遺傳算法來優(yōu)化神經(jīng)網(wǎng)絡的結構。,模糊技術、神經(jīng)網(wǎng)絡和遺傳算法綜合集成,模糊技術作為神經(jīng)網(wǎng)絡的隸屬度函數(shù)遺傳算法可以優(yōu)化模糊推理神經(jīng)網(wǎng)絡系統(tǒng)的參數(shù)遺傳算法可以優(yōu)化模糊推理神經(jīng)網(wǎng)絡系統(tǒng)的結構用神經(jīng)網(wǎng)絡調節(jié)和優(yōu)化具有局部性的參數(shù),智能計算的展望,智能計算包括神經(jīng)計算、模糊計算、進化計算三個主要方面，其積極意義在于促進了基于計算和物理符號結合的各種智能理論、模型，功能更強大，并能夠實現(xiàn)更復雜系統(tǒng)的智能行為。目前國際上智能計算研究正注意如下幾個方面的結合：1）神經(jīng)網(wǎng)絡與模糊系統(tǒng)和進化計算的結合；2）神經(jīng)網(wǎng)絡與模糊及混沌三者的結合；3）神經(jīng)網(wǎng)絡與近代信號處理方法小波、分形的結合；4）專家系統(tǒng)與模糊邏輯、神經(jīng)網(wǎng)絡的結合，以便有效地模擬人腦的思維機制，使人工智能導向生物智能。,,,,,,,