上海交通大學計算方法課件(宋寶瑞)CH.5

《上海交通大學計算方法課件(宋寶瑞)CH.5》由會員分享，可在線閱讀，更多相關(guān)《上海交通大學計算方法課件(宋寶瑞)CH.5（48頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1第六章 函數(shù)的最優(yōu)逼近與擬合§1 線性賦范空間中的逼近問題1.1 函數(shù)逼近與函數(shù)空間逼近的思想和方法滲透于幾乎所有的學科，其中包括自然科學和人文科學中的學科。逼近論既是一門研究函數(shù)的各類逼近性質(zhì)的學科，屬于函數(shù)論的范疇，同時又是計算數(shù)學和科學工程計算諸多數(shù)值方法的理論基礎(chǔ)和方法的依據(jù)。本章討論科學計算中基于逼近論的一些函數(shù)逼近方法。函數(shù)逼近方法與函數(shù)插值方法相類似，它也是在某一函數(shù)類中求函數(shù)，使它與被逼近函數(shù)之間滿足一定的近似條件。在插值方法中，這個近似條件是在插值結(jié)點上使插值函數(shù)與被插值函數(shù)的函數(shù)值對應(yīng)相等（包括各階導數(shù)值對應(yīng)相等） ；在逼近方法中，這個近似條件用逼近函數(shù)與被逼近函數(shù)之間的某種距離來表達。數(shù)學上常在各種集合中引入某些確定關(guān)系，稱為賦予集合以某種空間結(jié)構(gòu)，并將這樣的集合稱為空間。例如，在線性代數(shù)中將所有實 n 維向量組成的集合，按向量加法及向量與數(shù)的乘法構(gòu)成實數(shù)域上的線性空間，記作 ，稱為 n 維向量空間。類似地，對次數(shù)不超過 n（n 為正整數(shù)）的實R系數(shù)多項式全體，按通常多項式加法及數(shù)與函數(shù)乘法構(gòu)成數(shù)域 R 上的線性空間，用 表示，稱為多項式空間，又如所有定義在區(qū)間上的連續(xù)函數(shù)集nP合，按函數(shù)加法和數(shù)與函數(shù)乘法構(gòu)成 R 上的線性空間，記作 ，稱為],[baC連續(xù)函數(shù)空間。定義 1.1 設(shè)集合 S 是數(shù)域 P 上的線性空間， 如果存在Sxn?,1?2不全為零的數(shù) 使得Pan?,1?（1.1）02??nxax?則稱 是線性相關(guān)的；若（1.1）式只對 成立，nx,1? 021?na?則稱是線性無關(guān)的。如果 S 包含一個由 n 個元素組成的極大線性無關(guān)組，則稱 S 是 n 維的，如果對任意自然數(shù) N， S 中存在 N 個線性無關(guān)的元素，則稱 S 是無窮維的。顯然 是無窮維的，但對于 和 ＞0， 可以],[baC()[,]fxCab???)(xf用有限維空間 中的元素 逼近，使誤差 ，這就nP)(xp???)(mpf是著名的 Weierstrass 逼近定理。定理 1.1 設(shè) ，則 ＞0， ，使得],[)(baf???)(xnP＜)(xpfn?在 上一致成立。],[ba此定理可在數(shù)學分析書中找到證明。1912 年 Bernstein 構(gòu)造了一個多項式（1.2）knknkn xfxfB?????????)1()();(0并證明 在 上一致成立，若 在 上 mlimn??],[)(xf]1,0[階可導，則還有 。這也就從理論上給出定理 1.1)();()xfmn的構(gòu)造性證明。 稱為 f 的 n 次 Bernstein 多項式。但由于xfB收斂于 很慢，因此實際計算的近似值時，很少用這種方法。);(xfn)(3連續(xù)函數(shù) 還可用其他函數(shù)集合逼近。一般地，可用一組在)(xf上線性無關(guān)的函數(shù)集合 的線性組合來逼近 ，],[baC??niix0)(??],[)(baCxf?即用 01()span{(),,}??????? [,]Cab?（1.3）)(xn???逼近 。于是函數(shù)逼近問題就是對 ，在線性子空間)(f [,]fx??中找某一元素 ,使 在某種意義下最小。換句話說，)()(f??也就是找一組系數(shù) ，使（1.3）式中的 成為 在}{10na? )(x)(f中的最佳逼近元。?1.2 賦范線性空間中的最佳逼近既然是在線性子空間 中尋找某一函數(shù)的逼近，必須引入一個度量的?概念來衡量逼近的好壞，即衡量誤差 的大小。這對于不僅要|()|fxp?計算函數(shù)在個別點上的值，而且要考慮函數(shù)在區(qū)間上的整體性質(zhì)時，特別有意義。定義 1.2 設(shè) 為線性空間，如果對每一向量 ，都有一實數(shù)與?x??之對應(yīng)，把這一實數(shù)記為 ，并且這一對應(yīng)具有下列性質(zhì)|x1） ，等號成立當且僅當 ， （ 的零向量）－正性|0x?0?2） ，－正齊性|*|??3） .－三角不等式| |yy??則稱 為 x 的范數(shù)，一個線性空間，如果其中定義了滿足上述三條公理的范數(shù)，我們稱之為賦范線性空間，記為{X； }.?注：范數(shù)的概念是很廣泛的，只要滿足上述 3 條，都可作為范數(shù)。以4前我們引入的向量和矩陣的范數(shù)都是相應(yīng)空間的范數(shù)。同一線性空間可以賦予不同的范數(shù)。定義 1.3 設(shè) 為賦范線性空間，其范數(shù)為 ，若序列 ，K?0{}nK???，使f?0lim????fn?則稱序列 依范數(shù) 收斂于 f，記作 . ?0}{n??|linf??A現(xiàn)在運用賦范線性空間的概念來講解函數(shù)的逼近問題。逼近論的兩個基本問題1o 給定賦范線性空間 ，以及 的一個真子空間 。對于 如K?fK??果在 中存在這樣的元素 使得對所有的 有?*SS?*ff??成立，則 稱為 f 在范數(shù) 意義下在 中的最佳逼近元。立即就會出現(xiàn)*S|?這樣的問題：（1）最佳逼近元是否存在？是否唯一？（2）當最佳逼近元唯一存在時，如何構(gòu)造最佳逼近元。2o 設(shè)有 的一系列子空間 ，若對每一K12nK???? ?個子空間 ，問題 1o 中的最佳逼近元 存在，是否有 ，以及j?*jS*limnSf???收斂的速度。我將對于不同的范數(shù)定義，逐一研究這些問題?！? 最佳一致逼近給出線性空間 ，取其范數(shù)和子空間為],[baC5， （2.1）)(maxffb??{1,}nspx?nP?根據(jù)定理 1.1，問題 2o 的回答是肯定的?？紤]問題 1o對 中任一元素 f 的最佳逼近問題稱為最佳一致逼近（通常又稱為],[baCChebyshev 意義下的逼近） 。定理 2.1 如果 f 在 上連續(xù)，則在集合 中存在一個元素，是 f],[ba?的最佳一致逼近元。證略?！? 最佳平方逼近大家已經(jīng)學過三維歐氏空間，知道在歐氏空間里一個向量的長度，兩個向量的夾角，向量到子空間的投影等是什么意思，在這一節(jié)里，我們要把函數(shù)逼近問題與歐氏空間聯(lián)系起來，研究歐氏范數(shù)下的最佳逼近。4.1 線性內(nèi)積空間定義 4.1 設(shè) 為實線性空間，如果對每一對向量 ，都有一???yx,實數(shù)與之對應(yīng)，把這一實數(shù)記為 ，并且這一對應(yīng)具有下列性質(zhì)),(yx1） ，),(,xy?2） ，?3） ，),(,),(zz??64） ，等號成立當且僅當 ， （ 的零向量） 。(,)0x?0?x?則稱 為 x 和 y 的內(nèi)積，一個線性空間，如果其中定義了滿足上述四條公理的內(nèi)積，我們稱之為內(nèi)積空間。例 4.1 設(shè) ，對 ，定義內(nèi)積],[baC?(),[,]fxgCab??，易驗證它滿足公理 1)-4） 。dxgffba)(),(??例 4.2 令 （n 維實向量空間） ，對其中向量R，Tn),(21? Tnyy),(21??定義內(nèi)積 nxxyx???21),易知它滿足公理 1)-4） 。令 ，可以證明 滿足第二章中關(guān)于范數(shù)的公理，即),()N)(N是一種范數(shù)，稱為由內(nèi)積導出的范數(shù)，通常記作 ，在不發(fā)生混淆(x 2x的情況下也可簡記為 。x定義 4.2 設(shè) 為內(nèi)積空間， ，若 ，則稱 x 與 y 正???yx,0),(?y交，記作 ?4.2 線性內(nèi)積空間的最佳逼近設(shè) ， ，…， 是線性內(nèi)積空間 的 n+1 個線性無關(guān)的元素，子0?1n集 ，在 中尋求對的 某一元素 f 的最佳逼近 ，},{spa?????*S即對 有??S*fSf??7定理 4.1 是集合 中對 f 的最佳逼近元素，其充要條??niiCS0**??件是 與所有 正交。f?* ),1(j?證明 先證充分性，設(shè) S 是 中任一元素，考慮 fSf????*由于 與所有 正交，從而 也與 正交，因此fS*j?*),(),( *2 fSffSf ????22*S??*f?從而 就是最佳逼近元素，充分性得證。*S再證必要性，假設(shè) 是 中元素， 與 ，…， 中某一元素1S?fS?10?n不正交，記k?，則k?????k且 0)?,(1???kSf記 kS??12??易知 ，現(xiàn)估計 的范數(shù)??2Sf?)?,?(),( 1122 kksfff ?????(, 21 ?SSf2?8從而推得＜2Sf?21f即 不是最佳逼近元，必要性得證。1S推論 最佳逼近元素如果存在，必定是唯一的。事實上，如果在子集 中有兩元素都是 f 的最佳逼近，則由定理 4.1?必有，j=0，1 ， …， n),(),(21????jjSfSf?于是 和 都與 正交，于是有?21=0???????? ???? 212212121 ),()(),( SfSfSS這就表示 。下面，我們證明最佳逼近元素是存在的并將其構(gòu)造出來，由定理 4.1最佳逼近元 ，必須滿足：jnjCS?????0， k=0，1 ， …， n （4.1）0,njkjf??????????式（4.1）即， k=0，1 ， …， n （4.2）),(,0kkjnj fC?????????從而由下列方程組所決定9（4.3）???? ?????? ??? ),(),(),(),( ,,,, )()()()(100 11101 00nnn nfCCf?????????? ? ?方程組（4.3）通常稱為法方程組?，F(xiàn)在我們研究方程組的系數(shù)行列式（4.4）0010110101(,)(,)(,)(,)(,)(,)(,)nn nG??????? ? ? ? ? ? ??稱為關(guān)于 的 Gram 行列式。),(10n?? n??定理 4.2 子集 的元素 ， ，…， 線性相關(guān)的充要條件是它們?1f2nf的 Gram 行列式 等于零。),(1nfG?證明 先證必要性。由于 ，…， 線性相關(guān)，因此有一組不全為零1fnf的數(shù) ， ， …， ，使得1?2n 021??kff???上式分別對 ，…， 作內(nèi)積有1fkf???????0),(),(),( ,,, )()()(21 22 1211 kkk kkfff fff????????? ??這是關(guān)于 ，…， 的齊次線性方程組，由于 ， ，…， 不全為1 12k零，故推出其系數(shù)行列式必為零，從而100),(21?kffG?再證充分性，假設(shè) ,?研究下列方程組 ???????0),(),(),( ,,, )()()(21 22 1211 kkk kkfff fff????????? ??容易明白它必有非零解，設(shè)為 。令k? kfff??21易知 ，另一方面，對上式分別用 作內(nèi)積可得f??,1?， ，…，0),(1f),(2f0)(?fk從而有 ),(,(21?fffk???由于 不全為零，故 線性相關(guān)。定理的充分性得證。k,21? ,1?現(xiàn)在我們回到方程組（4.3）的討論，由于 是 的線性無n?,10? ?關(guān)元素，故 ),(10?nG??從而（4.3）的解存在且唯一。也就是說，最佳逼近元素是存在的并可由（4.3）構(gòu)造出來。下面再給出誤差估計式，記 為最佳逼近誤差，*Sf???則有11),(22 ?????SffSf?),(*ff),(),S??（4.5）),(),(*1*0* fCffCf n????至此，關(guān)于內(nèi)積空間的最佳逼近元素的特征，存在唯一性，構(gòu)造及誤差估計已全部論述清楚了。同一列 在不同的 K 中，其 收斂性可能不同ns例：1,[0]2()2,,0,[,1]nxnsxn????????22[0,1]() 03nLsd???而 [,]Cx?4.3 函數(shù)的最佳平方逼近設(shè)[a,b]為有限或無限的區(qū)間，定義在它上面的函數(shù) ，如果具有下)(x?12列性質(zhì)：1） ,0)(?x?][ba?2） ＞0, dc?[,]0cdc????3）積分 存在， n=0，1，…。xban)(則稱其為[a,b]上的權(quán)函數(shù)。對于在[a,b]上給定的函數(shù)，引入內(nèi)積 dxgfxgfba)()(),(???22這里 為權(quán)函數(shù)，總假設(shè)積分)(x?（4.6）dxfba)(2?是存在的。我們研究滿足（4.6）存在的函數(shù)全體組成的內(nèi)積空間，并選子集 。在子集 上尋找一函數(shù)},{10nsp?????為中某一函數(shù) f(x)的最佳逼近，是指對于)()(*0*xCxSjnj??，都有??（4.7）dSfba2*)]()[(??? dxSfba2)]()[(????（4.7）式的意義就是誤差 的平方在積分意義下達到極?njjxCxf0*?小，因此對于這種逼近就稱為函數(shù)的最佳平方逼近，或稱為最小二乘逼近，由于它是一個特殊的線性內(nèi)積空間，因此最佳逼近的存在性，唯一性，解13的構(gòu)造，誤差估計等等已由 4.2 節(jié)全部回答了。我們在這里指出， （4.7）也可從另外的觀點來得解，我們知道， 上?任一函數(shù)可寫成 ，而積分??njjxC0)(?dxCfnjjba 20)()(???????????是關(guān)于 的二次多元函數(shù)，記n,10?（4.8）dxxfCI njjban 2010 )()(),( ????????????在子集尋找對 f 的最佳平方逼近函數(shù)，就是尋找函數(shù) 的極),10nCI?小值。其必要條件是， k=0，1 ， …， n??kCI從而有 ??0()()()()nb bkii ka aixxfdx?????????寫成內(nèi)積符號就是，k=0，1 ， …， n0(,)(,)nkjkjCf?上式恰巧就是（4.3）式。當然，從函數(shù)極小值的討論去構(gòu)造最佳逼近函數(shù)，其存在性，唯一性等都要建立一套理論來回答這些問題，但是由于我們已建立了一套最佳逼近理論，所以在解決具體問題時運用求極小值的辦法，常常會帶來演算的方便。),(10nCI?14例 4.3 在空間 給定元素 ，子集 由 1， x 的線性]1,4[Cxf?)(?組合構(gòu)成（線性多項式空間） ，試求 在 中的最佳平方逼近（?。?。1)(?x?解 由于 ， 故0?x?1，143(,)dt?? 3215),(),(01041???td?62,14?dt另外又有 1407(,)2ft???143,80ftd設(shè)最佳逼近元為 ，據(jù)（4.3）列出法方程式01axy???????80316423570a解得 135,270即線性函數(shù) 8??xy15為 在子集 中的最佳平方逼近函數(shù)。xy??從例 4.3 可以看出，平方逼近算法簡單。例 4.4 取 ，1)(?x?，k= 0，1 ， …， n， ，在 中求 的 n 次kkx)(?]1,0[)(Cxf?nPf最佳平方逼近多項式 nxaaS??????10)(此時 ， j,k=0， 1， …， n10(,)kjjkxdj???則法方程組（4.3）的系數(shù)矩陣為（4.9）???????????1213211),1( nnnxGn? ???? ???這是一個 Hilbert 矩陣，前面我們已經(jīng)知道當 n 較大時，系數(shù)矩陣（4.9）是高度病態(tài)的，求解時舍入誤差很大，這是很不利于計算的，為避免這種情況，需要引入正交基的概念。4.4 正交基如果 是兩兩互相正交的（ 稱為 的一組正n?,10? n?,10? ?交基） ，法方程組的系數(shù)矩陣為對角陣， （4.3）成為16???? ???? ),(),(,),( )(),( 11 010 nnfCfC????從而直接可得，i =0，1 ， …， n （4.10）(,)iifC???這樣就不存在方程組病態(tài)的問題了。如果假設(shè) 的范數(shù)均為 1 （ 稱為 的一組標n?,10? n?,10? ?準正交基） ，那么進一步有，i =0，1 ， …， n （4.11）(,)iCf??在這種情況下， 1(,)niiSf????而（4.5）式的誤差估計式有（4.12）220|niiffC????上式左端恒正，故又有 Bessel 不等式（4.13）20|niif???如果對所有的 i， 都存在， 稱為 f 的廣義 Fourier 展開，i?0iiC?????稱為廣義 Fourier 系數(shù)。?iC17下面用正交化過程來證明正交基的存在性。定理 4.3 任何 n 維空間都存在正交基證明 按照 n 維空間的定義，存在一組基 ，由這組基，通過nf,1?正交化過程，可以構(gòu)造出兩兩正交的基 。ne,1?令 ，在 所在“平面”上找，也就是找具有下列形式的1fe?1,f12fe???選擇數(shù) ，使 ，即使?0),(12 0),(12f由此得 ),/(,12ef???設(shè)兩兩正交而異于零的向量 已經(jīng)構(gòu)造出來，向量 要求1?ke? ke具有形式 121efekkkk ???????選擇系數(shù) 使 與向量 正交，即滿足11,?? 1,e? 0)(1??fkk? ,21????…… …… …… 0),(11??kkeef?由于 兩兩正交，故上述等式簡化為：1,?ke?，),(),(11???fkk?，022ee…… …… ……18。0),(),(11????kkeef?由此得 ,/,11fkk?)(222e?…… …… …… ),/(),(111??kkf?最后我們利用 線性無關(guān)的條件來證明 ，注意到nf,2? 0?ke是 和 的線性組合， 又可表示為 和 的線性kef1,?ke? 1?ke1?f12,?組合，依此類推最后可將 表示為k 11????kkff??的系數(shù)為 1，而 線性無關(guān)，所以 ，證畢kf kf,? 0?e以上的正交化方法通常稱為 Schmidt 正交化過程?！? 正交多項式若首項系數(shù) 的 n 次多項式 ，滿足0?na)(xgn（j,k=0，1，…）??????? kjAdxgxkkjba 0)()(?則稱多項式序列 在[a,b]上帶權(quán) 正交，并稱 是?,10 )(x?)(xgn[a,b]上帶權(quán) 的 n 次正交多項式。)(x一般來說，當權(quán) 及區(qū)間[a,b]給定后，從序列 就可用?},1{2?4.4 節(jié)所述的 Schmidt 正交化過程構(gòu)造出正交多項式。用上述方法只能19一個接一個地構(gòu)造出正交多項式，在使用上有所不便，利用多項式的某些性質(zhì)，我們可以得到一些更直接，更方便的方法來構(gòu)造正交多項式，較重要的有下列幾類：5.1 勒讓德（Legendre）多項式當區(qū)間為[-1,1]，權(quán)函數(shù) 時，由 正交化所得的多1)(?x?},{2?x項式就作為 Legendre 多項式并用 表示，這一類?? )()(,0Pn正交多項式有如下的簡單表達式，n=0 ，1，… （5.1）}){(!21)(,)( 20 nnxdxP??由于 是 2n 次多項式，求 n 階導數(shù)后得x12? 01)()1(!)( axann?????于是得到首項 的系數(shù) ，顯然最高系數(shù)為 1 的 Legendre 多nx2)!(an?項式為（5.2）])1[()!2(~2nnnxdxP?Legendre 多項式有下述幾個重要性質(zhì)性質(zhì) 1 正交性（5.3）????????? nmdxPmn120)(120證明 令 ，則 （k=0 ，1， …，n-1） 。nx)1()2???0)(??k?設(shè) 是在區(qū)間[-1,1]上有 n 階連續(xù)可微的函數(shù)，由分部積分知)(xQdxQdPnn)(!2)(11????????xn)(!211?dn)(1)(??下面分兩種情況討論（1）若 是次數(shù)小于 n 的多項式，則 ，故得)(xQ0)(?xQn，當0)(1???dxPmm?（2）若 ,)!(2!2)( ???nnn xx?，))((xQnn于是 ?????12212 )()!() dxdxPnnn 122(nn由于 ，故?? ?????102102 )34cos)(dxdxn? ? 12)(12?nPn于是（5.3）得證。21性質(zhì) 2 奇偶性（5.4）)(1)(xPxnn??由于 是偶次多項式，經(jīng)過偶次求導仍為偶次多項式，)(2?經(jīng)過奇次求導則為奇次多項式，故 n 為偶數(shù)時為偶函數(shù)， n 為奇數(shù)時為奇函數(shù)，于是（5.4）式成立。性質(zhì) 3 遞推關(guān)系 考慮 n+1 次多項式它可表示為 )()()()( 110 xPaxaPxn????兩邊乘以 ，并從-1 到 1 積分，得Pk ddkkn?????12)()(當 時， 次數(shù)小于等于 n-1，上式左端積分為 0，故得2?nx，當 k=n 時 為奇函數(shù)，左端積分仍為 0。故 ，于是0?ka)(2Pn ?na)()(11xPaxnn???其中 1242)(2111 ???????? ndxnan1133()() 3nnP?????從而得到以下的遞推公式（n=1，2 ， …） 1 n1()(2)((x)nnxxP? ?（5.5）22由 ， ，利用（5.5）式就可推出1)(0?xPx)(， ，2/)132??2/)35()3xxP??，8/05()44?，765x，……16/)24P性質(zhì) 4 在所有最高次項系數(shù)為 1 的 n 次多項式中，Legendre 多項式在[-1,1]上與零的平方誤差最小。)(~xPn設(shè) 是任意一個最高次項系數(shù)為 1 的 n 次多項式，它可表示為Q)(~)(0xPaxkknn????于是 dxQnn)(),(21??~,,~,0nkkn PaP????當且僅當 時等號才成立，即當 時平110?a? )(xn?方誤差最小。性質(zhì) 5 在區(qū)間（-1，1）內(nèi)有 n 個不同的實零點。)(xPn前幾個 Legendre 多項式的圖形如下：235.2 切比雪夫（Chebyshev）多項式（3.1）)arcos()(xnxTn??如此定義的 是 x 的多項式嗎？試看 n=0 和 n=1 的情形：1)(0xT??)cosar1注意到如下的三角恒等式： ??cos2)1()( nn??令 ，則有xarcos??， n=1，2，… （3.2）)(2)(11xTTnn??不難看出 確實是 n 次多項式且與 n 的奇偶性相同，即 隨)(xTnn 為奇數(shù)或偶數(shù)而成為 上的奇函數(shù)或偶函數(shù)。],[24顯然 的最高次項 的系數(shù)為 ，即)(xTnnx12?n（3.3）)(21的 低 次 多 項 式???稱為 n 次 Chebyshev 多項式。)(n前 9 個 Chebyshev 多項式如下表表 3-1 1321602518)( 76483)(1842)(14877 243552330 ?????????xxxTxxTxT顯然（3.4）1)(max1??n并且在點列cos 0,kkn????－1= ＜ ＜…＜ =10x1x上， 以正負交錯的符號取到它的絕對值的最大值 1。)(xTn25（3.6）kknxT)1(??根據(jù)定理 2.2，首項 系數(shù)為 1 的多項式n)(2)(~1xn?為所有 系數(shù)為 1 的 n 次多項式類中唯一的，在[-1,1]上與零偏差最小的nx多項式。的 n 個零點全位于（－1，1）內(nèi)，且都是單重的，它們是：。)(T， （3.7）2coskx????1,kn??從幾何上看，如果將以原點為圓心，以 1 為半徑的上半圓周分成 2n 等分，再把圓周上所有奇分點位往 x 軸上投影，則恰好得到點列（3.7） 。此外，實際計算中時常要求 用 ， ，…， 的線性組合表示，n0T1n其公式為 ????????????????2021)(nkknxx這里規(guī)定 ，n=1~8 的結(jié)果見表 3-2。20?T表 3-226)82563(12874)6150(26)43(81)(2164053742352043200 TTxxTxTx???????它還是一類重要的正交多項式。Chebyshev 多項式有很多重要性質(zhì)：性質(zhì) 1 正交性Chebyshev 多項式 在區(qū)間[-1,1]上帶權(quán) 正交，)}({xTn 2()1/xx???且（5.7）????????? .0,;2,1)(2nmdxmn?事實上，令 ，則 ，于是cosx??sin?271200,;()cos02,.nm nmTxdnd???? ?????????性質(zhì) 2 遞推關(guān)系，n=1，2，…，)()(2)(1xTxTnn???，0?這只要由三角恒等式cos()coscos()??1?n令 即得。x?性質(zhì) 3 只含 x 的偶次冪， 只含 x 的奇次冪，這性質(zhì))(2Tk )(12Tk?由遞推關(guān)系直接得到。性質(zhì) 4 在區(qū)間（-1,1）上有 n 個零點 ，)(n ?nkk21cos??k=1，2， …， n。前幾個 Tchebyshev 多項式的圖形如下：285.3 無窮區(qū)間上的正交多項式正交多項式的正交區(qū)間[a,b]也可以是無界區(qū)域，當然此時權(quán)函數(shù)必須保證 ，n=1，2，…， 。()x?()bnaxd?????1．拉蓋爾（Laguerre）多項式 在區(qū)間 上帶權(quán) 的正交多項),0[xe?式稱為 Laguerre 多項式，其表達式為 ()()nxxndLe??它也具有正交性質(zhì) 20 0,()(!)xnmnedx??? ??????和遞推關(guān)系，1)(0?L?)(29，n =1，2，…。)()(21() 12xLxnxLn ????2．埃爾米特（Hermite）多項式 在區(qū)間 上帶權(quán) 的正),??2xe?交多項式稱為 Hermite 多項式，其表達式為 )()1(22xnxnedH??它滿足正交關(guān)系 ????????? nmxennmx ,!20)(20 ?并有遞推關(guān)系， ，1)(0?H)(n=1，2，…。2)(1 xnxn ??5.4 一般正交多項式的幾個重要性質(zhì)性質(zhì) 1 在 空間中， 首一的 n 次正交多項式 在所有2,[]Lab? ()npx?最高次項系數(shù)為 1 的 n 次多項式中與零的偏差最小。設(shè) 是任意一個最高次項系數(shù)為 1 的 n 次多項式，它可表示為)(xQn0()()nnkpxapx??????于是120(,)(),((),(nnnkkxxp??????（ 勾 股 定 理 ）30當且僅當 時等號才成立，即當0110naa????時平方誤差最小。)(~xPQnn?推論 在所有最高次項系數(shù)為 1 的 n 次多項式中，Legendre 多項式在[-1,1]上與零的平方誤差最小。)(n性質(zhì) 2. 首一的 Chebyshev 多項式 在所有最高次項系數(shù)為 1()nTx?的 n 次多項式中在[-1,1]上與零的一致偏差最小。定理 5.1 是[a,b] 上帶權(quán) 的 n 次正交多項式的充分必要條()npx)(x?件是： 是 n 次多項式并且()k=0,1,…,n-1()0bknad??證明是容易的，從略。定理 5.2 設(shè) 是 [a,b]上帶權(quán) 的 n 次正交多項式，則()npx)(x?的零點全位于(a,b) 內(nèi)，并且都是單重的。npx證明：設(shè) ，如果，不妨設(shè) ，令1()nkkxx???1xa?，據(jù)定理 5.1，2())nkqx??n-P()()0bnaxpqdx???但是上式中的被積函數(shù)為 ，積分21,a.e(,)b???應(yīng)當大于 0，矛盾。同理可證所有的零點不可能大于 b，出現(xiàn)一對共軛復數(shù)或為二重的。31§6 離散情況的最佳平方逼近在§4 論述了內(nèi)積空間的最佳逼近理論?，F(xiàn)在我們討論離散情況的最佳平方逼近。對于 n 維歐氏空間中任二向量，???????nxX?21??????nyY?21其內(nèi)積定義為，??iiTY1),(相應(yīng)的范數(shù)為.2(,)Xx給定歐氏空間的一個子集 ，其中 為線性無關(guān)}{1lspan??iX組。子集 對某一向量 Y 的最佳逼近，是指在 中尋找一向量 使它對?的任意向量 X 都滿足不等式?.YX???如果 ，也即子集 是一個 n 維歐氏空間，那么由線性代數(shù)的知識，nl?恒有唯一的一組常數(shù) 使c,21? ,1???niiXY此時 ，因此 就是 Y 的最佳平方逼近，下面我們討論0???XY?l＜ n 的情況。32由§4 定理 4.1， 與所有 正交，即XY??lX,,21?， k=1，2 ， …， l0),(?k記， ，iliXc???112iinix???????那么有 ).,(,1kkili Yc????????從而 由下列方程組所決定：??ic,21?（6.1）???? ?????? ??? ),(),(),(),( ,,,, )()()()(21 22212 11lllll lXYccXccc? ????????????????????? ??其中 ??nkjijTiji x1,),(1, .njiikYXy（6.1）可寫成33，,),,( 2121 YXcXTjllTjTjj ???????????j=1，2，…，l.容易看出，上式又可寫成 .),,(),,(),,( 2122121 YXcXXTlllTl ???? ?????????引入 階矩陣ln?（6.2 ）12121212(,,)llnnlxxAX??????????? ???于是上式可寫成（6.3）.YACTT??其中 為 l 階方陣， 分別為 l， n 維向量，AT,， .?????????lc?21??????nyY?21容易看出， （6.3）式的系數(shù)矩陣 是對稱的。由于 為線AT lX,,21?性無關(guān)組，我們可進一步推出矩陣 是正定的。事實上，對于 l 維歐氏34空間的任一向量 g，考慮 的二次型有：AT,0),(),(??g其中等號僅當 時才成立：即有 ，或即0?T.0),,(1221 ????????TiliTll Xgg??由 是線性無關(guān)組推得 ，即 。從而，當 時lX,,21? 0i 0?g有＞0，),(gAT也就是說矩陣 是正定矩陣。由于矩陣 是正定的，所以可建立求解AT T（6.3）的特殊方法，例如平方根法，喬列斯基（Cholesky）法。若 兩兩正交，則矩陣成 為對角形，即),21(liX??T,2221??????lT XxA?從而（6.3）的解變?yōu)椋?，i=1,…,l???? ???????nknkiiTii xyXYC1212//§7 數(shù)據(jù)擬合的最小二乘法357.1 問題的引入在工程實踐和科學實驗中，量與量之間的關(guān)系表現(xiàn)為：1）確定性關(guān)系：如電學中著名的歐姆定律就是確定性的關(guān)系。用 V 表示電壓， R 表示電阻， I 表示電流，歐姆定律指出 .RIV??有的確定性關(guān)系是由微分方程或積分方程來描述的。例如，阻尼振動中，位移 x 與時間的確定性關(guān)系由微分方程 022??xdttx??所決定，其中 為固有頻率， 為阻尼系數(shù)。0?2）非確定性關(guān)系：由于因素的復雜性或其它原因，變量之間找不到完全確定的關(guān)系。例如紗的回潮率與原棉含水量之間；鋼水含碳量與冶煉時間；魚的活動與海水溫度；臺風登陸路徑與沿海各地的風向、氣溫、濕度之間等等，這些量之間，既存在密切關(guān)系，又不能由一個（或幾個）變量的數(shù)值精確地求出另一個變量的值。但是通過人的實踐，通過儀器，我們獲得了大量的實驗數(shù)據(jù)，這些大量的偶然現(xiàn)象，始終是服從內(nèi)部隱藏著的規(guī)律的?，F(xiàn)在我們又回到數(shù)值逼近范圍內(nèi)來談這個問題，為了敘述方便，先討論兩個變量 x， y 的情況。也就是說，通過觀測變量 x， y 積累了一組資料，i=1，2 ， …， n， 一般地說 n 都比較大。我們的任務(wù)是從積累得),(i到的實驗數(shù)據(jù) ，i=1 ， 2， …， n， 尋求一近似函數(shù) 去逼近),(i )(?y。 由于觀測數(shù)據(jù)都帶有觀測誤差，數(shù)組 數(shù)目又較大，對于這類問),(iyx題運用插值函數(shù)去描述 y 往往是不適當?shù)摹Ｎ覀円韵旅娴睦觼碚f明建36立近似函數(shù) 的一種辦法，即最小二乘法。)(x?++++++++例 7.1 合成纖維抽絲工段，第一導絲盤的速度對絲的質(zhì)量是很重要的參數(shù)，現(xiàn)發(fā)現(xiàn)它和電流周波有重要關(guān)系，由生產(chǎn)記錄得到的數(shù)據(jù)如下表：周波x49.2 50.0 49.3 49.0 49.0 49.5 49.8 49.9 50.2 50.2第一導絲盤速度（ y）16.7 17.0 16.8 16.6 16.7 16.8 16.9 17.0 17.0 17.1表 4今要研究 y 與 x 的關(guān)系，通常的步驟如下：1）先用一坐標紙，將 描于圖上（圖 8） 。),(iy圖 7.12）憑視覺約略知道 在一條直線的兩側(cè)附近，于是猜想 y 與 x),(iyx37近似地成直線關(guān)系，bxay????上面直線關(guān)系式稱為數(shù)學模型。在第 i 次觀測數(shù)據(jù)中， 與實測值 有誤iy?i差，i= 1，2 ， …， n，)(iii xy??將它們平方后加起來得到總誤差： ).,()(2121 baIiiniini ???我們當然希望，數(shù)學模型（主觀猜想）應(yīng)盡量接近客觀實際，即總誤差越小越好，也就是選取 a,b 使 I(a,b)最小。問題又回到了內(nèi)積空間21ini??的最佳逼近。定義向量 Y、 X、 E 分別為， ，???????ny?21??????nx?21.????????n 維歐氏空間的一個子集 Span{X， E}對 Y 的最佳平方逼近就是選取 a,b使向量 ba???的范數(shù)達到極小，即 )()(2 XEYYT（7.2）.min,21 ????baIxyiini（7.2）與（7.1）的提法完全一致。從問題的來源看，確定使誤差平38方和達到最小的方法稱為最小二乘法，高斯對于天文觀測數(shù)據(jù)的處理就運用了這個方法。依照我們建立的理論，a,b 由下列方程組所決定：?????????niniiiii yaxbx112.,解之有 ,1212?????????niniiiiii xyyxa.1212??????????niniiiixyyb運用表 4 的數(shù)據(jù)求得a=0.04， b=0.339,即 .3904.?xy???必須指出，這里所說的歐氏空間最佳逼近，并不是說 是 ybxay???的最佳數(shù)學模型。因此就存在著另一個問題，上述數(shù)學模型是否符合客觀實際呢？也就是說，如何檢查數(shù)學模型的質(zhì)量呢？當然，最根本的辦法是拿到生產(chǎn)中去考驗，但當觀測數(shù)據(jù)積累多了以后，就能夠建立一套數(shù)學理論去檢驗數(shù)學模型的準確性，偶然的現(xiàn)象，隱藏著必然的規(guī)律，概率統(tǒng)39計的課程里將介紹這個問題。例 7.2某航空售票點（PVG-IAD）機票銷售加價和預期銷售量之間的關(guān)系加價額度x（元）銷售量P（張/周） 加價額度x（元）銷售量P（張/周）50 58 225 5475 53 250 52100 59 275 50125 55 300 47150 62 325 35175 62 350 27200 55對 P 和 x 的關(guān)系用三次多項式進行擬合，用最小二乘法可解得 32()0.2680.790.43765.813xxx?????40最小二乘法模型中的非線性函數(shù)例 7.3 已知 及擬合這批數(shù)據(jù)的非線性數(shù)學模(,)0,1)ixyN??型 （a,b 為待定參數(shù)）)byae?1．如何將非線性模型線性化？2．寫出線性化模型中待定系數(shù)的法方程。3．設(shè)數(shù)據(jù) (,)0,1)ixyN?? 如下：i0 1 2 3i2.010 1.210 0.7400 0.4500?iy2.0027 1.2169 0.7395 0.449341求出擬合上述數(shù)據(jù)的非線性擬合函數(shù)。1、設(shè) 則模型成為yln?bxay??ln)(2、設(shè) BbAa?法方程式為x????????????????niiiniii yxBx1123、????????????????????????????????????? 49815.068071.214697.3190.682131001BABA最后擬合的非線性函數(shù) .95().0xyxe=1.0226e-0042?> [c,renorm]= lsqnonlin(@fun1117,x0)Local minimum found.0 1 2 3y2.010 1.210 0.7400 0.45000.6981 0.1906 -0.3011 -0.798542c=2.0076 -0.5008renorm = 6.7226e-005例 7.4 出鋼時所用盛鋼水的鋼包，由于鋼水對耐火材料的浸蝕，容積不斷增大，我們希望找出使用次數(shù)與增大的容積之間的關(guān)系。試驗數(shù)據(jù)如下表：使用次數(shù)增大容積使用次數(shù)增大容積使用次數(shù)增大容積ixiyixiyixiy2 6.42 7 10.00 12 10.603 8.20 8 9.93 13 10.804 9.58 9 9.99 14 10.605 9.50 10 10.49 15 10.906 9.70 11 10.59 16 10.76解 將數(shù)據(jù)標在坐標紙上（參見圖 7.2） ，我們看到，開始時浸蝕速度快，然后逐漸減弱，顯然鋼包容積不會無窮增加，于是可以想象它有一條平行于 x 軸的漸近線，根據(jù)這些特點我們選取數(shù)據(jù)擬合的曲線為雙曲線。43圖 7.2假設(shè)選擇的數(shù)學模型為：,xbay????1令 ,~1,?xy于是上式變?yōu)?bay???解得結(jié)果如下：a=0.0823, b=0.1312.從而 ,132.08.?1xy???即 .13208.?1?xy44若將曲線擬合的雙曲線模型改成指數(shù)形式 ,?xbaey??將上式兩邊取對數(shù) .lnx?,~l,~1,l bay???則有 .xy??求得 .107~,458.2??ba從而 .,69.1~?ea最后求得 .78.?107xey??怎樣比較數(shù)學模型的好壞呢？雙曲線模型的誤差為 ,132.08.)1( ???xy?指數(shù)形式模式模型的誤差為 .679.107)2( xey?針對建立的模型比較實測值與擬合值的誤差如下表：45實測值 擬合值 擬合值 誤差 誤差 實測值擬合值 擬合值 誤差 誤差iy雙曲模型指數(shù)模型(1)i?(2)iiy雙曲模型指數(shù)模型(1)i?(2)i6.42 6.761 6.702 -0.341 -0.282 10.49 10.479 10.451 0.011 0.0398.20 7.934 8.065 0.266 0.135 10.59 10.612 10.557 -0.022 0.0339.58 8.687 8.847 0.893 0.733 10.60 10.725 10.646 -0.125 -0.0469.50 9.212 9.353 0.288 0.147 10.80 10.823 10.723 -0.023 0.0779.70 9.599 9.705 0.101 -0.005 10.60 10.908 10.788 -0.308 -0.18810.00 9.896 9.965 0.104 -0.035 10.90 10.983 10.845 -0.083 0.0559.93 10.131 10.165 -0.201 -0.235 10.76 11.049 10.896 -0.289 -0.1369.99 10.322 10.322 -0.332 -0.333 ,19.)28.0()26.0()341.()(12 ???????? ?nii? .4)36.()5.()8.()( 22212? ?nii由于 較小，所以我們選擇指數(shù)模型作為鋼包使用次數(shù)與增大容(2)1nii??積之間的近似關(guān)系。選擇合適的曲線模型是一件不容易做到的事情，主要靠人們對問題所屬的專業(yè)知識的了解來定，如專業(yè)上也不清楚時，可用坐標紙描出點來從數(shù)學上加以選擇。46§9 問題與探索：最小二乘法模型中的非線性函數(shù)和約束條件最小二乘問題中所包含的條件方程一般可能是非線性的。可是，通常是用線性函數(shù)進行最小二乘處理，因為尋求非線性方程的最小二乘解是相當困難的，所以，每當模型中的方程原來是非線性時，必須采用某種線性化方法獲得線性方程。為此目的，常常應(yīng)用級數(shù)展開式，特別是泰勒級數(shù)，只利用級數(shù)展開式的零階和一階項，省去其他高階項。當應(yīng)用某一級數(shù)展開式時，對方程中的未知數(shù)必須選取一組近似值。這些近似值的選擇是解算問題的一個重要方面?？上У氖?，還沒有一個選取近似值的具體而唯一的途徑能用于所有最小二乘問題。有時依靠經(jīng)驗，另一些時候可以采用某些近似計算。在各種情況下，都應(yīng)力圖利用比較簡單的方法得到接近的近似值。為了說明怎樣進行線性化，令（8.1）0)(?xf表示任一非線性方程組，包括 m 個方程，其中 x 是未知變量的向量。如用表示變量的近似值向量，級數(shù)展開式的零階和一階項將為0x（8.2）0)((00?????xFf為函數(shù)對于變量向量中各元素的一組偏導數(shù)，是一個 維的矩陣pm?（Jacobi 矩陣） 。向量是代替未知數(shù)向量 x 的近似值的改正數(shù)向量。利用級數(shù)展開的結(jié)果，是把非線性方程變成為線性方程組，其一般形式是：（8.3）uxJ??此處 )(0xFu??47最小二乘法求解后，所得到的解是向量 ，如果原始近似值向量x?充分接近，使得方程（8.2）足以代替方程（8.1） ，即級數(shù)的二階和高0x階項事實上是可省略的，則最后的最小二乘估值為 ?？墒?，)(0x?往往不是這樣接近的近似值， 與 x 相加只能得到一個改進的近似值。0現(xiàn)在必須用更新的近似值向量再列出方程式（8.3）或（8.2） ，并應(yīng)用最小二乘求定更新的向量 ，它的各元素一般比第一次的小。這種用更新的近x?似值向量重新線性化的過程繼續(xù)進行，直到 的最后值小到可以不計時，x?終止迭代。最后估值 將是原始近似值和全部改正數(shù)向量 之和（或者是? x最后更新的近似值向量加上最后改正數(shù)向量） 。在許多實際問題中，理論函數(shù) 個各個參變量12(;,)nfxb?可能不完全獨立，它們的數(shù)值常受到某些物理或數(shù)學條件的約12,,nb?束。例如，在曲線擬合中，為使擬合函數(shù)或它的導數(shù)在某些點上有指定的數(shù)值，或為保證分段擬合曲線在連接點處連續(xù)與光滑，就出現(xiàn)等式約束條件；不等式約束條件產(chǎn)生于要求約束產(chǎn)生于要求擬合曲線具有正性、單調(diào)性與凸性等情況。同樣，在物理、統(tǒng)計、數(shù)學規(guī)劃、控制論與經(jīng)濟等領(lǐng)域中，經(jīng)常也會碰到約束條件的最小二乘問題。因此，討論這類問題的計算方法具有重要的應(yīng)用價值。此處不擬討論約束最小二乘問題的詳細解法，有興趣的讀者可參閱有關(guān)的教材或?qū)Ｖ７蔷€性或帶約束條件的最小二乘問題的解可以用 Matlab 的工具箱函數(shù)來求得。值得注意的是非線性問題的迭代有可能陷入局部最優(yōu)解，因此無論用什么方法解此類問題，一個盡可能接近最優(yōu)解的初值的選取是非常重要的。如果對于最優(yōu)解的范圍有較多的了解或限制，則利用約束條件：4801Aby?????可以得到符合實際要求的解。