亞馬遜EC2、S3

單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),*,*,亞馬遜云計(jì)算,AWS,（,Amazon Web Service,）,電子工業(yè)出版社 劉鵬主編,云計(jì)算,教材配套課件,6,概述,Amazon,的云從哪里來(lái),Amazon,提供的云計(jì)算服務(wù),AWS,的應(yīng)用案例,AWS,的業(yè)務(wù)流程,AWS,的體系架構(gòu)及關(guān)鍵技術(shù),Amazon,的云從哪里來(lái),?,一個(gè)簡(jiǎn)單的想法,IaaS,：將硬件設(shè)備等基礎(chǔ)資源封裝成服務(wù)供用戶使用,主要思想：虛擬,優(yōu)勢(shì)：動(dòng)態(tài)申請(qǐng)，資源無(wú)限,Amazon,提供的云計(jì)算服務(wù),彈性計(jì)算云,EC2,簡(jiǎn)單存儲(chǔ)服務(wù),S3,簡(jiǎn)單數(shù)據(jù)庫(kù)服務(wù),Simple DB,簡(jiǎn)單隊(duì)列服務(wù),SQS,彈性,MapReduce,服務(wù),內(nèi)容推送服務(wù),CloudFront,電子商務(wù)服務(wù),DevPay,靈活支付服務(wù),FPS,AWS,的應(yīng)用案例,SmugMug,為什么選擇,AWS,SmugMug,是一家在線照片存儲(chǔ)共享網(wǎng)站，擁有數(shù)億照片資源和幾十萬(wàn)付費(fèi)用戶。業(yè)務(wù)量的急劇增長(zhǎng)導(dǎo)致該新興公司無(wú)法承受巨額的基礎(chǔ)設(shè)施開(kāi)銷，,SmugMug,選擇了,Amazon,的,EC2,服務(wù)和,S3,服務(wù)。應(yīng)用,AWS,后，僅需,50,人即可完成如此大的業(yè)務(wù)量。,SmugMug,的基本架構(gòu),AWS,的業(yè)務(wù)流程,注冊(cè)賬戶,資源申請(qǐng),創(chuàng)建虛擬節(jié)點(diǎn),將虛擬節(jié)點(diǎn)映射到物理節(jié)點(diǎn),分割算法,數(shù)據(jù)處理,數(shù)據(jù)同步,基礎(chǔ)存儲(chǔ)架構(gòu),Dynamo,Dynamo,在,Amazon,服務(wù)平臺(tái)中的地位,Dynamo,架構(gòu)的主要技術(shù),問(wèn)題,采取的相關(guān)技術(shù),數(shù)據(jù)均衡分布,改進(jìn)的一致性哈希算法，數(shù)據(jù)備份,數(shù)據(jù)沖突處理,向量時(shí)鐘（,vector clock,）,臨時(shí)故障處理,Hinted handoff,（數(shù)據(jù)回傳機(jī)制），參數(shù)（,W,R,N,）可調(diào)的弱,quorum,機(jī)制,永久故障后的恢復(fù),Merkle,哈希樹(shù),成員資格以及錯(cuò)誤檢測(cè),基于,gossip,的成員資格協(xié)議和錯(cuò)誤檢測(cè),數(shù)據(jù)均衡分布的問(wèn)題,一致性哈希算法,優(yōu)勢(shì)：,-,負(fù)載均衡,-,屏蔽節(jié)點(diǎn)處理能力差異,Dynamo,的數(shù)據(jù)沖突處理,最終一致性模型,向量時(shí)鐘,（,Vector Clock,）,Dynamo,的臨時(shí)故障處理機(jī)制,讀寫(xiě)參數(shù),W,、,R,、,N,N,：系統(tǒng)中每條記錄的副本數(shù),W,：每次記錄成功寫(xiě)操作需要寫(xiě)入的副本數(shù),R,：每次記錄讀請(qǐng)求最少需要讀取的副本數(shù)。,滿足,R+WN,，用戶即可自行配置,R,和,W,優(yōu)勢(shì)：實(shí)現(xiàn)可用性與容錯(cuò)性之間的平衡,Dynamo,的永久性故障恢復(fù),Merkle,哈希樹(shù)技術(shù),Dynamo,中,Merkle,哈希樹(shù)的葉子節(jié)點(diǎn)是存儲(chǔ)數(shù)據(jù)所對(duì)應(yīng)的哈希值，父節(jié)點(diǎn)是其所有子節(jié)點(diǎn)的哈希值,成員資格及錯(cuò)誤檢測(cè),基于,Gossip,協(xié)議的成員檢測(cè)機(jī)制,彈性計(jì)算云,EC2,EC2,是什么,EC2,的主要特性,EC2,基本架構(gòu)及主要概念,EC2,應(yīng)用實(shí)戰(zhàn),EC2,是什么,EC2,（,Elastic Compute Cloud,）,簡(jiǎn)言之，,EC2,就是一部具有無(wú)限采集能力的虛擬計(jì)算機(jī)，用戶能夠用來(lái)執(zhí)行一些處理任務(wù)。,EC2,的場(chǎng)景描述,EC2,的主要特性,靈活性：可自行配置運(yùn)行的實(shí)例類型、數(shù)量，還可以選擇實(shí)例運(yùn)行的地理位置?？梢愿鶕?jù)用戶的需求隨時(shí)改變實(shí)例的使用數(shù)量。,低成本：按小時(shí)計(jì)費(fèi),安全性：,SSH,、可配置的防火墻機(jī)制、監(jiān)控等,易用性：用戶可以根據(jù)亞馬遜提供的模塊自由構(gòu)建自己的應(yīng)用程序，同時(shí),EC2,還會(huì)對(duì)用戶的服務(wù)請(qǐng)求自動(dòng)進(jìn)行負(fù)載平衡,容錯(cuò)性：彈性,IP,EC2,的幾個(gè)重要概念,(1),Amazon,機(jī)器映像,AMI,（,Amazon Machine Image,）,由一個(gè)操作系統(tǒng)和當(dāng)虛擬機(jī)啟動(dòng)時(shí)你想要預(yù)先載入的任何的應(yīng)用程序組成。,AMI,是用戶整個(gè)云計(jì)算平臺(tái)運(yùn)行的基礎(chǔ)，用戶使用,EC2,服務(wù)的第一步就是要?jiǎng)?chuàng)建一個(gè)自己的,AMI,。,公共,AMI,、私有,AMI,、付費(fèi),AMI,、共享,AMI,EC2,的幾個(gè)重要概念,(2),實(shí)例,Instance,：用戶創(chuàng)建好,AMI,后，實(shí)際運(yùn)行的系統(tǒng),資源,Small,Large,Extra Large,High-CPU Medium,High-CPU,Extra Large,平臺(tái),32,位,64,位,64,位,32,位,64,位,CPU,1ECU,4ECU,8ECU,5ECU,20ECU,內(nèi)存,1.7G,7.5G,15G,1.7G,7G,存儲(chǔ)容量,160G,850G,1690G,350G,1690G,實(shí)例類型名,m1.small,m1.large,m1.xlarge,c1.medium,c1.xlarge,EC2,的幾個(gè)重要概念,(3),彈性塊存儲(chǔ),EBS,（,Elastic Block Store,）,卷，每個(gè),EBS,最多創(chuàng)建,20,個(gè)卷,快照,EC2,的幾個(gè)重要概念,(4),區(qū)域,EC2,的基本架構(gòu),EC2,應(yīng)用實(shí)戰(zhàn),注冊(cè)用戶，選擇支付方式,使用,EC2,的幾個(gè)前提條件,Java Runtime Environment,Amazon EC2 command-line tools,PuTTY&PuTTYgen,配置工具,運(yùn)行實(shí)例,簡(jiǎn)單存儲(chǔ)服務(wù),S3,S3,（,Simple Store Service,）的設(shè)計(jì)思路,數(shù)據(jù)一致性模型,S3,的設(shè)計(jì)思路,(1),S3,為任意類型的文件提供臨時(shí)或永久的存儲(chǔ)服務(wù),非傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)模式,簡(jiǎn)單、高效,存儲(chǔ)、讀取，非查詢,S3,的設(shè)計(jì)思路,(2),基本概念,對(duì)象：,S3,的基本存儲(chǔ)單元（數(shù)據(jù)、元數(shù)據(jù)），數(shù)據(jù)類型任意,鍵：對(duì)象的唯一標(biāo)識(shí)符,桶：存儲(chǔ)對(duì)象的容器（不能嵌套、在,S3,中名稱唯一、每個(gè)用戶最多創(chuàng)建,100,個(gè)桶）,S3,的設(shè)計(jì)思路,(3),S3,的數(shù)據(jù)一致性模型,冗余存儲(chǔ),最終一致性模型,簡(jiǎn)單隊(duì)列服務(wù),SQS(1),目標(biāo)：解決低耦合系統(tǒng)間的通信問(wèn)題，支持分布式計(jì)算機(jī)系統(tǒng)之間的工作流,特點(diǎn)：簡(jiǎn)單、無(wú)處不在,“,在互聯(lián)網(wǎng)的所有計(jì)算機(jī)不用安裝任何軟件或特殊防火墻配置就可以增加或讀消息”,處理端：,EC2,上的,AMI,簡(jiǎn)單隊(duì)列服務(wù),SQS(2),機(jī)制：,冗余存儲(chǔ)，基于加權(quán)隨機(jī)分布的消息取樣,并發(fā)管理和故障排除，消息的可見(jiàn)性超時(shí)值與生命周期,簡(jiǎn)單隊(duì)列服務(wù),SQS(3),簡(jiǎn)單數(shù)據(jù)庫(kù)服務(wù),SimpleDB,SDB,與,S3,的區(qū)別,SDB,與傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的區(qū)別,SDB,的基本結(jié)構(gòu)及主要概念,SDB,與,S3,的區(qū)別,S3,是專為大型，非結(jié)構(gòu)化的數(shù)據(jù)塊設(shè)計(jì)的,SimpleDB,是為復(fù)雜的，結(jié)構(gòu)化數(shù)據(jù)建立的，支持?jǐn)?shù)據(jù)的查找、刪除、插入等操作,SDB,與關(guān)系數(shù)據(jù)庫(kù)的區(qū)別,(1),傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù),表結(jié)構(gòu),SDB,樹(shù)狀結(jié)構(gòu),SDB,的基本結(jié)構(gòu),SDB,與關(guān)系數(shù)據(jù)庫(kù)的區(qū)別,(2),新特性：,無(wú)需預(yù)定義模式,單個(gè)屬性允許有 多個(gè)值,支持自動(dòng)索引,不能完成的操作：,沒(méi)有事務(wù)的概念,不支持連接操作,實(shí)際存儲(chǔ)的數(shù)據(jù)類型過(guò)于單一,查詢結(jié)果只包含條目名稱而不包括相應(yīng)屬性值，返回結(jié)果不支持排序操作,總結(jié),AWS,的結(jié)合使用,歡迎訪問(wèn),中國(guó)云計(jì)算網(wǎng)站,http:/,歡迎使用,云計(jì)算教材 電子工業(yè)出版社 劉鵬 主編,本講到此結(jié)束,