午啪啪夜福利无码亚洲,亚洲欧美suv精品,欧洲尺码日本尺码专线美国,老狼影院成年女人大片

個人中心
個人中心
添加客服微信
客服
添加客服微信
添加客服微信
關注微信公眾號
公眾號
關注微信公眾號
關注微信公眾號
升級會員
升級會員
返回頂部
企業網絡存儲項目技術方案(20頁)
企業網絡存儲項目技術方案(20頁).doc
下載文檔 下載文檔
方案
上傳人:正*** 編號:876515 2024-01-08 20頁 292KB

下載文檔到電腦,查找使用更方便

15 金幣

  

還剩頁未讀,繼續閱讀

1、 企業網絡存儲項目技術方案 需求分析和設計目標 2.1 系統現狀 企業核心業務的開展依賴于大量的數據處理和信息交流,對數據的實 時性和準確性要求很高。更要 求企業在對外積極拓展業務領域的同時,加強內部的監察和自控工作。 企業負責多地區的業務工作,涉及面廣,社會影響力大,經濟總量大, 因此,數據安全及其重要。 公司的基本環境: l 兩臺IBM X255 8685-41X服務器做雙機,操作系統是Win2000,數據庫是 Sybase; l IBM X345 8670-61X(Win2000)服務器用于存儲備份系統的備份服務器; l 另外3臺IBM X345 8670-61X服務器是公司的其他數據業2、務服務器; l 系統運行的網絡環境是千兆網; 2.2 系統總體架構要求 根據設計,按照設備集中、集約管理、滿足應用、方便擴展、安全穩定的要 求,今后數據中心形式的信息化存儲系統建設的發展方向是按照先進計算機應用 模式建立多層體系結構(N-Tier)的數據中心。數據中心的邏輯結多層體系結構核心應用層組件包括客戶層、應用/WEB 服務器層和數據庫服務 器層和存儲備份層。 l 客戶層:客戶層是消耗應用數據的層。通常指Web 瀏覽器。但多層結構 (N-Tier)圖 數據中心邏輯圖也能支持諸如手機、掌上電腦等 其它非瀏覽器。 l 應用/WEB 服務器層:應用/WEB 服務器層由應用服務器器和Web 服務3、器 組成。應用服務器層提供應用的業務邏輯處理。應用邏輯服務器檢索并 處理來自數據庫、生產業務系統等應用的數據,然后向Web 服務器返回 格式化的結果。通過采用中間件技術(Websphere、WebLogic、MQ)可實現 應用邏輯服務器的高可用性及可伸縮性。 l 數據庫服務器層:數據庫服務器層是一個中心存儲庫,是業務應用系統 中所有數據資源的管理中心。提供包括關系型數據庫系統(如Oracle, Sybase,DB2 等)服務和數據倉庫(如多維數據庫等)服務。 l 存儲與備份層:存儲與備份層由磁盤存儲陣列和備份軟件和備份磁帶庫 組成,提供數據存儲和數據備份、數據恢復服務功能。 2.3 系統建設目4、標 根據設計規劃,按照設備集中、集約管理、滿足應用、方便擴展、安全穩定 的建設要求,遵循高起點、高標準、高質量的建設原則,立足當前,著眼發展; 在數據中心形式的信息化存儲系統構建統一的集中運行平臺,建立開放式多 層架構體系,優化整合現有設備資源,為數據中心形式的信息數據庫建設數據庫 和應用系統建設提供統一的運行環境,并實施系統資源的統一管理和維護; 提高硬件設備的集約化管理水平和可擴展能力,增強應用系統和數據的運行 效率和管理水平,降低各類應用系統建設成本,滿足數據中心形式的信息數據庫 建設數據庫和應用系統的建設需要; 為數據中心形式的信息數據庫建設開展應用系統建設、信息數據集中整合、 方便信5、息分析研判以及信息化建設的健康持續發展奠定良好的硬件設施基礎。 2.4 系統建設任務 構建專用存儲系統,集中存儲數據 在多層體系架構中,采用存儲區域網絡技術,構建專用大容量存儲系統,通 過區域劃分滿足各類信息數據的集中存儲,保證存儲系統信息存儲的靈活性和可 擴展性。 構建統一的數據庫集中運行平臺,提高數據處理能力 按照“運行可靠、性能優良、滿足應用”的要求,在多層體系架構中,建設 小型機集群系統,采用并行運行和互為備份的集群技術,保證小型機高效和不間 斷運行。同時,通過小型機分區技術,在小型機上構建不同應用數據庫(統一采 用Oracle 數據庫)的運行區域,滿足不同應用數據庫系統的運行需要,使6、各類 應用數據庫既集中又相對獨立地運行,以降低不同數據庫之間相互影響,提高數 據庫處理能力。 建立多種系統應用平臺,提高集中運行平臺的適應性 按照各類應用系統所需的不同系統運行環境,在多層體系架構中,建立與之 相適應的多種系統運行平臺,提供Unix、Windows 或Linux 操作系統平臺上應用 服務和Web 瀏覽等應用。通過共享統一的存儲系統,建立如SQL Server 等其他 主流數據庫運行平臺,提供數據庫服務。為有關部門的不同應用系統提供相應的 運行環境。 整合優化現有計算機設備資源,提高集中管理和應用水平 根據系統建設的整體框架要求,按照數據集中整合和應用的需要,對用戶現 有計算機設7、備資源進行調整,納入統一集中運行管理框架的多層體系架構中。同 時,按照設備集中管理的要求,在數據中心形式的信息數據庫建設集中計算機房 建成后,將用戶各類服務器及相關設備集中起來,根據不同應用的要求進行整合 優化,實行統一的運行和管理。 擴展數據備份系統,提高系統可靠性 數據中心形式的信息數據庫建設數據庫、其它應用數據庫以及衍生的整合分 析數據資源是生產機關極其寶貴的重要資源,必須做到安全上的萬無一失,并且 各類應用系統要求7?4 小時?65 天不間斷運行,要求基于多層體系架構的集 中運行平臺有多層面的系統可靠性保障。集中運行平臺中,所有層面要建立相應 的容錯機制,確保設備發生故障或升級維護時系8、統服務不中斷;設備自身必須具 備容錯能力,盡可能在設備一級就能屏蔽大多數故障。此外,構建存儲系統的“快 照”復制和磁帶備份系統,包含專業的數據備份系統、備份管理策略與手段,通 過在現有備份系統基礎上進行擴展,實現信息數據的快速備份和統一的常規備份 以及高效的數據恢復,使集中運行平臺具備高效、全面備份數據的能力,保證信 息數據的安全可靠。 建立集中運行管理機制,實現設備和系統資源的統一管理 按照計算機應用系統和數據集中運行的要求,建立設備和系統的集中運行管 理機制,實現對集中設備和系統的性能監控、配置優化和維護服務的統一運行管 理,確保設備和系統的高效、可靠和安全地運行,提高對設備和系統的運行管9、理 水平。 2.5 系統設計原則 數據中心形式的信息化存儲系統集中運行平臺多層架構體系建設必須既滿 足當前的應用需求,又面向未來業務和技術的發展要求。集中運行平臺的建設遵 循以下原則: 2.5.1 實用性和先進性 采用成熟、穩定、完善的產品和技術,滿足當前應用需求。盡可能采用先進 的計算機及網絡技術以適應更高的數據處理要求,使整個集中運行平臺在一定時 期內保持技術上的先進性,并具有良好的擴展潛力,以適應未來應用的發展和技 術升級的需要。 2.5.2 高性能和高負載能力 數據中心形式的信息化存儲系統集中運行平臺必須能夠承載較大的系統和 應用運行負載,提供高性能的數據處理和應用響應能力,確保各類應10、用系統和數 據庫的高效運行。 2.5.3 安全性和可靠性 為保證業務應用不間斷運行,數據中心形式的信息化存儲系統集中運行平臺 必須具有極高的安全性和可靠性。對系統結構、網絡系統、服務器系統、存儲系 統、備份系統等方面須進行高安全性和可靠性設計。系統達到C2 級以上標準安 全級別,具有一定的防病毒、防入侵能力。在采用硬件備份、冗余、負載均衡等 可靠性技術的基礎上,采用相關的軟件技術提供較強的管理機制和控制手段,以 提高整個系統的安全可靠性。 2.5.4 靈活性與可擴展性 數據中心形式的信息化存儲系統集中運行平臺要能夠根據生產信息化不斷 發展的需要,方便地擴展系統容量和處理能力,具備支持多種應用的11、能力。同時 可以根據應用發展的需要進行靈活、快速的調整,實現信息應用的快速部署。 2.5.5 開放性和標準化 數據中心形式的信息化存儲系統集中運行平臺要具備較好的開放性,相關系 統和設備應是業界主流產品,遵循業界相關標準,保證數據中心形式的信息數據 庫建設選用的主流系統和設備能夠隨時無障礙地接入集中運行平臺,實現系統和 數據的集中運行和統一維護管理。 2.5.6 經濟性與投資保護 應以較高的性能價格比構建數據中心形式的信息數據庫建設集中運行平臺, 使資金的產出投入比達到最大值。以較低的成本、較少的人員投入來維護系統運 轉,達到高效能與高效益的要求。盡可能保護已有系統投資,充分利用現有設備 資源12、。 2.5.7 集中運行和逐步過度 數據庫和應用系統建設采用集中運行和逐步過度相結合的原則。新的應用要 直接部署在新建的集中運行平臺上運行,現有應用及硬件資源將根據需要和可能 分期分批逐步融入集中運行平臺,進行統一的管理和資源配置。 系統方案設計 3.1 系統總體結構圖 根據數據中心形式的信息數據庫建設需求分析,系統總體結構 描述如下: 本項目的存儲網絡架構圖,通過SAN 能夠將多種數據應用全面整合起來,其 中后端的陣列是整個系統的核心,所有的業務數據都存在該陣列中,因此陣列本 身需要完全冗余架構和極高的吞吐性能;SAN 網絡采用dual Fabric 設計,采用 兩臺交換機構成冗余的存儲網絡13、;每臺主機(關鍵業務)可以采用兩塊(甚至更 多)HBA 跨接到兩臺SAN 交換機上,做的主機到存儲接口冗余;主機層采用HA 配 置,因此整個系統是高效而全冗余的。同時也能夠平滑過渡到下階段的容災系統。 備份系統也跨接到SAN 網絡上,這樣所有的備份工作可以大大減輕對于生產 網絡的影響,主機直接通過SAN 將數據讀出并寫到帶庫,完全采用FC/SCSI 協議。 在上述架構中,后端的磁盤陣列采用高性能磁盤陣列,作為綜合存儲磁盤陣 列。該磁盤陣列代表當時行業的最佳性能、100%數據可用性,以及功能豐富的管 理軟件。 3.2 數據庫服務器設計 3.2.1 數據庫系統結構 數據庫服務平臺主要采用動態分區、14、多機集群、并行數據庫等技術,實現多 臺數據庫主機同時并行訪問數據庫,應用可以根據需求均衡到不同主機資源上同 時工作,多機互為備份。這種機制依靠系統提供的系統硬件、操作系統集群軟件、 與數據庫提供的并行技術來滿足要求。數據庫支持數據分區技術,通過數據庫分 區技術提高查詢效率。同時,與數據庫服務平臺相配合,采用專用數據采集處理 服務器,負責數據采集工作,各數據庫的數據采取分別匯集,單點入庫的數據更 新策略。 數據庫服務器系統圖如下: 數據庫服務器選用高性能UNIX 服務器,每臺高性能UNIX 服務器劃分成2 個 分區,配置1.7GHz CPU、16GB 內存、2 塊千兆光纖網卡、2 塊15000 15、轉73G 硬 盤、2 塊2GB 光纖通道卡。對應分區通過軟件實現群集。 根據設計要求“當前配置tpmC =(TPMC 基準值* 實際CPU 數目* 實際CPU 主 頻)/ (基準CPU 數目*基準CPU 主頻)” (768,839*16*1.7)/(32*1.7)=384,420tpmC 3.3 存儲系統設計 3.3.1 存儲系統結構 整體架構采用SAN-存儲局域網的架構搭建,分為主機、交換機和存儲設備三 個層面: A. 主機層面 前端服務器每臺通過兩塊光纖卡(以下簡稱HBA 卡)跨接到兩臺光纖交換機 上,構成冗余鏈路 B. 光纖交換機 利用兩臺16 口光纖交換機作為SAN 的骨干設備,連接主16、機和存儲設備; C. 存儲設備 主存儲設備:核心磁盤陣列存儲所有系統的數據。該磁盤陣列通過1 對(2 塊)接口卡分別跨接到臺光纖交換機上,構成冗余鏈路近線存儲設備:近線備份 目標磁盤陣列使用采用STAT 磁盤的廉價磁盤陣列,離線備份目標帶庫采用設計 方案已有的帶庫 3.3.2 主存儲系統方案 目前存儲區域網(SAN)是解決海量存儲問題的主流解決方案,也是本項目 建設要求的解決方案,同時也支持NAS 方式。數據中心形式的信息數據庫建設數 據庫及其應用系統相關的數據庫即將統一存儲到大容量高性能的存儲設備上,存 儲設備與主機群之間通過SAN光纖交換機互聯(具有冗余聯接),同時數據備份 設備也通過光纖17、交換機聯接以提高備份效率,減輕網絡和主機的壓力。 在本方案中,存儲工程師使用高檔全光纖磁盤陣列為主存儲系統,從用戶的 投資、需求綜合分析,推薦了極佳的性能價格比的產品,用戶可以根據性能要求、 擴展性要求、價格需求等因素來選擇。 根據數據中心形式的信息數據庫建設該設計的需求,為了提高主磁盤陣列的 性能,在該設計中推薦配備15000RPM 的73GB 磁盤。 磁盤陣列在各方面均應充分擴展,并能夠充分滿足今后業務發展過程中數據 遷移、系統 ,容災的要求: 1)硬件方面 所有重要部分均應在線擴容前端接口、磁盤控制卡、緩存、磁盤等。 2)軟件方面 可選擇不同的軟件實現性能優化、數據遷移和數據容災等: 318、.3.3 近線備份系統 傳統的數據存儲一般分為在線(On-line)存儲及離線(Off-line)存儲兩級存 儲方式。所謂在線存儲就是指將數據存放在磁盤系統上,而離線則是指將數據備 份到磁帶上。硬盤的優點是速度快,特別是隨機訪問能力強,但單位容量成本高, 適合需要頻繁訪問的數據存儲;磁帶善于傳輸流式數據,介質與驅動器相分離的 特性決定了其單位容量成本低廉,保存數據的安全性也較高,適合數據備份。 但隨著數據量的猛增,這種只使用在線和離線兩級存儲的策略已經不能適應 企業的需求。一方面,用戶有越來越多的數據在一定時期內仍需要訪問,如果備 份到磁帶上,則讀取的速度太慢,而保持在線狀態,又會因訪問頻度不19、高而占用 寶貴的存儲空間;另一方面,用戶要求“備份窗口”越來越小,備份設備要具有 更快的速度,以縮短備份時間,而帶基設備與盤基設備相比還不夠快。 由此產生了數據的分級存儲管理 分級存儲管理是一種將非在線存儲與在線存儲融合的技術。它以數據生命周期的 不同階段來決定存儲的位置,從而在在線存儲與離線存儲之間誕生了第三種存儲 方式近線(Near-line)存儲,使存儲網絡從“在線離線”的兩級架構向“在 線近線離線”的三級架構演變。近線存儲的特點是性能接近在線存儲,而成 本接近離線存儲。 根據大型信息數據庫存儲系統分析結果,存儲容量約為16TB,考慮適當冗余 和“快照”備份,存儲陣列實配容量應大于20T20、B,存儲陣列最大擴展容量應不低 于64TB。 基于存儲區域網技術,滿足數據中心形式的信息數據庫建設數據庫和應用系 統相關數據庫,以及運行于其上的業務系統、查詢系統、數據分析系統的要求, 必須增強數據存儲核心,選擇高性能存儲陣列,LUN 數量應2048,系統IOPS 240000(吞吐量大于1540 M/S)。其基本性能需求分析如下: A. 在存儲系統中,處理器主要完成I/O 處理、Cache 控制管理、數據傳輸 控制以及一些智能化的軟件運行功能,處理器的能力直接影響到整個存 儲系統的性能。考慮到不同廠商存儲所采用的CPU 性能差異較大、主處 理器所承擔的任務也有所區別,應在給出實際處理器配置數21、量的同時給 出性能指標、承載任務分析,CPU 實配數量不低于16 個。 B. 磁盤本身性能也決定存儲系統整體性能,通常磁盤性能以轉速、尋道時 間等技術指標衡量,考慮到性價比,推薦采用15K rpm 的磁盤。 C. 對于數據庫等大數據量訪問應用,緩存越大,性能越好,本項目實配存 儲容量應與Cache 的容量配置成比例配置,按大于16GB 考慮,最大可擴 展到128GB。 3.5 應用服務器、瀏覽服務器和數據處理前置機設計 應用服務器層主要負責業務邏輯處理,用戶請求的連接處理和數據庫端或其 他應用系統的連接處理,以及業務處理過程實現。用戶多層體系結構要求應用服 務器與Web 服務器物理獨立,考慮到22、應用服務器對處理能力、系統穩定性的要求 均大大高于數據表現層,關鍵應用采用Unix 服務器,其他應用可考慮刀片式微 機服務器,建立多機集群環境。 數據遷移 數據遷移是數據系統整合中保證系統平滑升級和更新的關鍵部分。在信息化 建設過程中,隨著技術的發展,原有的信息系統不斷被功能更強大的新系統所取 代。從兩層結構到三層結構,從Client/Server 到Browser/Server。在新舊系統 的切換過程中,必然要面臨一個數據遷移的問題。 4.1 數據遷移的概念 原有的舊系統從啟用到被新系統取代,在其使用期間往往積累了大量珍貴的 歷史數據,其中許多歷史數據都是新系統順利啟用所必須的。另外,這些歷23、史數 據也是進行決策分析的重要依據。數據遷移,就是將這些歷史數據進行清洗、轉 換,并裝載到新系統中的過程。數據遷移主要適用于一套舊系統切換到另一套新 系統,或多套舊系統切換到同一套新系統時,需要將舊系統中的歷史數據轉換到 新系統中的情況。銀行、電信、稅務、工商、保險以及銷售等領域發生系統切換 時,一般都需要進行數據遷移。對于多對一的情況,例如由于信息化建設的先后, 造成有多個不同的系統同時運行,但相互間不能做到有效信息共享,所以就需要 一套新系統包容幾套舊系統的問題。 數據遷移對系統切換乃至新系統的運行有著十分重要的意義。數據遷移的質 量不光是新系統成功上線的重要前提,同時也是新系統今后穩定運24、行的有力保 障。如果數據遷移失敗,新系統將不能正常啟用;如果數據遷移的質量較差,沒 能屏蔽全部的垃圾數據,對新系統將會造成很大的隱患,新系統一旦訪問這些垃 圾數據,可能會由這些垃圾數據產生新的錯誤數據,嚴重時還會導致系統異常。 相反,成功的數據遷移可以有效地保障新系統的順利運行,能夠繼承珍貴的 歷史數據。因為無論對于一個公司還是一個部門,歷史數據無疑都是十分珍貴的 一種資源。例如公司的客戶信息、銀行的存款記錄、稅務部門的納稅資料等。 4.2 數據遷移的特點 系統切換時的數據遷移不同于從生產系統OLTP (On-line Transaction Processing),到數據倉庫DW(Data 25、Warehouse)的數據抽取。后者主要將生產 系統在上次抽取后所發生的數據變化同步到數據倉庫,這種同步在每個抽取周期 都進行,一般以天為單位。而數據遷移是將需要的歷史數據一次或幾次轉換到新 的生產系統,其最主要的特點是需要在短時間內完成大批量數據的抽取、清洗和 裝載。 數據遷移的內容是整個數據遷移的基礎,需要從信息系統規劃的角度統一考 慮。劃分內容時,可以從橫向的時間和縱向的模塊兩個角度去考慮。 橫向劃分 以產生數據的時間為劃分依據,需要考慮比較久遠的歷史數據如何遷移的問 題。由于信息技術的發展,以及存儲工程師對計算機依賴性的增強,新系統每天 往往需要比舊系統存儲更多的信息,同時為了解決數據26、量高增長帶來的性能瓶 頸,新系統一般只保留一定時期的數據,比如1 年,而把超過保存周期的數據, 即1 年以前的數據轉移到數據倉庫中,以便用于決策分析。對于這種新系統的數 據遷移,主要遷移1 年以內的數據,1 年以前的歷史數據需要另外考慮。 縱向劃分 以處理數據的功能模塊為劃分依據,需要考慮在新系統中沒有被包含的功能 模塊,其所涉及數據的處理問題。這類數據由于無法建立映射關系,一般不需要 遷移到新系統中。但對于模塊間偶合度比較緊密的舊系統,在縱向劃分時需要注 意數據的完整性。 4.3 數據遷移的三種方法 4.3.1 數據遷移方法 數據遷移可以采取不同的方法進行,歸納起來主要有三種方法,即系統切換27、 前通過工具遷移、系統切換前采用手工錄入、系統切換后通過新系統生成。 系統切換前通過工具遷移 在系統切換前,利用ETL(Extract Transform Load)工具把舊系統中的歷 史數據抽取、轉換,并裝載到新系統中去。其中ETL 工具可以購買成熟的產品, 也可以是自主開發的程序。這種方法是數據遷移最主要,也是最快捷的方法。其 實施的前提是,歷史數據可用并且能夠映射到新系統中。 系統切換前采用手工錄入 在系統切換前,組織相關人員把需要的數據手工錄入到新系統中。這種方法 消耗的人力、物力比較大,同時出錯率也比較高。主要是一些無法轉換到新系統 中的數據,和新系統啟用時必需要而舊系統無法提供的數28、據采用這種方法,可作 為第一種方法的有益補充。 系統切換后通過新系統生成 在系統切換后,通過新系統的相關功能,或為此專門開發的配套程序生成所 需要的數據。通常根據已經遷移到新系統中的數據來生成所需的信息。其實施的 前提是,這些數據能夠通過其它數據產生。 4.3.2 數據遷移的策略 數據遷移的策略是指采用什么方式進行數據的遷移。結合不同的遷移方法, 主要有一次遷移、分次遷移、先錄后遷、先遷后補等幾種方式可供選擇。 一次遷移是通過數據遷移工具或遷移程序,將需要的歷史數據一次性全部遷 移到新系統中。一次遷移的優點是遷移實施的過程短,相對分次遷移,遷移時涉 及的問題少,風險相對比較低。其缺點工作強度比29、較大,由于實施遷移的人員需 要一直監控遷移的過程,如果遷移所需的時間比較長,工作人員會很疲勞。一次 遷移的前提是新舊系統數據庫差異不大,允許的宕機時間內可以完成所有數據量的遷移。 分次遷移 分次遷移是通過數據遷移工具或遷移程序,將需要的歷史數據分幾次遷移到 新系統中。分次遷移可以將任務分開,有效地解決了數據量大和宕機時間短之間 的矛盾。但是分次切換導致數據多次合并,增加了出錯的概率,同時為了保持整 體數據的一致性,分次遷移時需要對先切換的數據進行同步,增加了遷移的復雜 度。分次遷移一般在系統切換前先遷移將靜態數據和變化不頻繁的數據,例如代 碼、用戶信息等,然后在系統切換時遷移動態數據,例如交易30、信息,對于靜態數 據遷移之后發生的數據變更,可以每天同步到新系統中,也可以在系統切換時通 過增量的方式一次同步到新系統中。 先錄后遷 先錄后遷是在系統切換前,先通過手工把一些數據錄入到新系統中,系統切 換時再遷移其它的歷史數據。先錄后遷主要針對新舊系統數據結構存在特定差異 的情況,即對于新系統啟用時必需的期初數據,無法從現有的歷史數據中得到。 對于這部分期初數據,就可以在系統切換前通過手工錄入。 先遷后補 先遷后補是指在系統切換前通過數據遷移工具或遷移程序,將原始數據遷移 到新系統中,然后通過新系統的相關功能,或為此專門編寫的配套程序,根據已 經遷移到新系統中的原始數據,生成所需要的結果數據。31、先遷后補可以減少遷移 的數據量。 4.4 數據遷移的實現 數據遷移的實現可以分為三個階段:數據遷移前的準備、數據遷移的實施和 數據遷移后的校驗。 由于數據遷移的特點,大量的工作都需要在準備階段完成,充分而周到的準 備工作是完成數據遷移的主要基礎。具體而言,要進行待遷移數據源的詳細說明, 包括數據的存放方式、數據量、數據的時間跨度,建立新舊系統數據庫的數據字 典,對舊系統的歷史數據進行質量分析,新舊系統數據結構的差異分析;新舊系 統代碼數據的差異分析;建立新老系統數據庫表的映射關系,對無法映射字段的 處理方法,開發、部屬ETL 工具,編寫數據轉換的測試計劃和校驗程序,制定數 據轉換的應急措施。其32、中,數據遷移的實施是實現數據遷移的三個階段中最重要 的環節。它要求制定數據轉換的詳細實施步驟流程;準備數據遷移環境;業務上 的準備,結束未處理完的業務事項,或將其告一段落;對數據遷移涉及的技術都 得到測試;最后實施數據遷移。數據遷移后的校驗是對遷移工作的檢查,數據校 驗的結果是判斷新系統能否正式啟用的重要依據。可以通過質量檢查工具或編寫 檢查程序進行數據校驗,通過試運行新系統的功能模塊,特別是查詢、報表功能,檢查數據的準確性。 4.4.1 數據遷移的技術準備 數據轉換與遷移通常包括多項工作:舊系統數據字典整理、舊系統數據質量 分析、新系統數據字典整理、新舊系統數據差異分析、建立新舊系統數據之間33、的 影射關系、開發部署數據轉換與遷移程序、制定數據轉換與遷移過程中的應急方 案、實施舊系統數據到新系統的轉換與遷移工作、檢查轉換與遷移后數據的完整 性與正確性。 數據轉換與遷移程序,即ETL 的過程大致可以分為抽取、轉換、裝載三個步 驟。數據抽取、轉換是根據新舊系統數據庫的映射關系進行的,而數據差異分析 是建立映射關系的前提,這其中還包括對代碼數據的差異分析。轉換步驟一般還 要包含數據清洗的過程,數據清洗主要是針對源數據庫中,對出現二義性、重復、不完整、違反業務或邏輯規則等問題的數據進行相應的清洗操作,在清洗之前需 要進行數據質量分析,以找出存在問題的數據,否則數據清洗將無從談起。數據 裝載是34、通過裝載工具或自行編寫的SQL 程序將抽取、轉換后的結果數據加載到目 標數據庫中。 對數據的檢查 數據格式檢查:檢查數據的格式是否一致和可用,目標數據要求為number 型。 數據長度檢查:檢查數據的有效長度。對于char 類型的字段轉換到varchar 類型中,需要特別關注。 區間范圍檢查:檢查數據是否包含在定義的最大值和最小值的區間中;例如 年齡為300,或錄入日期在4000-1-1。 空值、默認值檢查:檢查新舊系統定義的空值、默認值是否相同,不同數據 庫系統對空值的定義可能不同,需要特別關注。 完整性檢查:檢查數據的關聯完整性。如記錄引用的代碼值是否存在,特別 需要注意的是有些系統在使用35、一段時間后,為了提高效率而去掉了外鍵約束。 一致性檢查:檢查邏輯上是否存在違反一致性的數據,特別是存在分別提交 操作的系統。 5.設備及網絡的安裝調試 制訂詳盡的設備安裝計劃(含工作日程、工作內容、工作方法等)。在工作 日程表內注明設備到貨日期、現場安裝、系統測試、驗收、技術培訓等條款。征 得項目單位方認可后嚴格按照日程表執行。 我方項目組工作人員及項目單位方的技術人員一起參與系統的安裝、測試、 診斷及解決遇到的問題等各項工作。 8.4.1 安裝步驟 (1)開箱驗貨:根據清單逐一清點所到貨物,填寫開箱檢查報告。 (2)完成硬件連接:將網絡系統的各種設備正確安裝上去,聯接其它外部 設備。 (3)36、硬件加電測試:仔細觀察指示燈,如果有硬件出錯,填寫報告。 (4)對設備進行配置。 (5) 對設備進行功能測試。 (6)測試防火墻、交換機產品是否與設計方案一致。 8.4.2 設備參數調整及性能優化 當新的系統運行一段時間之后,可能因為種種原因,發現整體性能不如人 意,這時會有調整系統整體運行性能的要求,這也是十分常見的。這樣的工作較 為復雜,牽涉的面也比較廣。這是需要有一個專業隊伍來完成此項任務的,我們 通常的做法是: l 與客戶一起討論問題出現的方式,方法,時間,頻度等等。盡早將問題 定性,定位。 l 進一步深層次分析,建立各種壓力測試環境,努力尋找改進系統性能的 方案。 l 確定提高系統性能的方案,如需要協調各方,與原廠家共同完成提高整 體性能的任務。 測試對象:設備和相關配件。 測試內容: (1) 設備通電自檢:觀察設備的開機信息、信號指示燈等檢查狀態是否正 常。(2)設備連接測試(與外部設備的連接,電源等的連接):對各個外設進行 功能測試。 (3)網絡連接測試(與實際的網絡環境的互聯測試):檢查網絡響應時間、 數據傳輸速率等。 (4)系統測試:對設備整體性能進行綜合測試;對防火墻的安全穩定性能 的測試。
會員尊享權益 會員尊享權益 會員尊享權益
500萬份文檔
500萬份文檔 免費下載
10萬資源包
10萬資源包 一鍵下載
4萬份資料
4萬份資料 打包下載
24小時客服
24小時客服 會員專屬
開通 VIP
升級會員
  • 周熱門排行

  • 月熱門排行

  • 季熱門排行

  1. 城市主供水管及備用原水管工程管道安裝施工組織設計方案105頁.doc
  2. 山西長治長豐綜合(43萬方)項目(住宅+酒店+商業+辦公)建筑方案設計(246頁).pdf
  3. 2025預算員最全造價筆記包.zip
  4. 貴陽南明區地塊項目(住宅、商業+辦公+學校)建筑方案設計(311頁).pdf
  5. 西安金輝世界城J地塊綜合體項目建筑設計方案(318頁).pdf
  6. 蔬菜大棚鋼結構施工組織設計方案(65頁).pdf
  7. 全輕混凝土地坪施工方案.doc
  8. 邊坡治理工程錨索錨桿格構梁施工技術交底.doc
  9. 陳列布展廳建設工程電氣安裝展廳電子及裝飾裝修安全施工方案46頁.doc
  10. 大酒店公共區域及客房區域室內裝修改造工程墻面軟包施工組織設計86頁.doc
  11. 醫院住院綜合大樓智能化弱電系統工程施工組織設計方案(151頁).doc
  12. 蔬菜大棚土建、鋼結構工程施工組織設計方案(66頁).doc
  13. 雨、污水管道工程PVC—U雙壁波紋管施工方案(37頁).doc
  14. 熱電聯產機組工程排水槽廢水池防腐施工安全專項方案(12頁).doc
  15. U型渠道建設工程施工組織設計方案(52頁).doc
  16. 秦皇島市北環路道路改造工程監理大綱(346頁).PDF
  17. 幼兒園建設工程項目可行性研究報告(486頁).doc
  18. 物業公司如何提高業主滿意度、提升服務質量演講課件.pptx
  19. 杭州 ·長嶺居別墅項目故事線策劃方案.pdf
  20. 融創武義小鎮旅游度假項目故事線營銷推廣方案.pdf
  21. 2020江山悅地產項目故事線構建推廣方案.pdf
  22. 建筑大理石、花崗石干掛施工工藝(5頁).doc
  1. 服裝店鋪形象維護細則及獎懲管理制度.doc
  2. 城市主供水管及備用原水管工程管道安裝施工組織設計方案105頁.doc
  3. 水泥混凝土路面工程施工方案(17頁).doc
  4. 水泥混凝土路面工程專項施工方案(17頁).doc
  5. 2023年版建筑公司30套施工方案編制指南(1041頁).pdf
  6. 生態治理工程土石方工程及噴播植草籽施工方案(91頁).doc
  7. 山西長治長豐綜合(43萬方)項目(住宅+酒店+商業+辦公)建筑方案設計(246頁).pdf
  8. 2024年建筑公司機電安裝工程質量創優策劃方案(108頁).docx
  9. 商業街夜市市集U+夜市定位規劃方案(73頁).pptx
  10. 生態治理工程土石方、噴播植草(灌木)籽施工方案(89頁).doc
  11. 地下停車場環氧地坪漆施工方案(19頁).docx
  12. 學生宿舍室外市政道路工程雨水管道工程施工組織設計方案(19頁).doc
  13. 工程施工機械車輛設備租賃合同(12頁).docx
  14. 中建二局-201號辦公質保樓項目檢驗和試驗計劃方案(45頁).doc
  15. 花苑小區住宅樓工程新工藝新技術應用施工方案(32頁).doc
  16. 土建、安裝、裝飾工程施工檢測試驗計劃表.docx
  17. 安全生產管理體系及保證措施方案(59頁).doc
  18. 蔬菜大棚鋼結構施工組織設計方案(65頁).pdf
  19. 冷卻水塔管道更換安裝施工方案(41頁).doc
  20. 綜合樓中央空調安裝施工組織設計方案(水、多聯機)(166頁).doc
  21. 建筑工程造價失控的原因分析及控制(3頁).docx
  22. 抹灰工程施工方案(水泥砂漿)(20頁).docx
  1. 風機安裝工程施工質量強制性條文執行記錄表(40頁).doc
  2. 鐵路特大橋高墩施工專項安全施工方案(48頁).doc
  3. 服裝店鋪形象維護細則及獎懲管理制度.doc
  4. 東方國際休閑廣場商業定位與招商提案(51頁).ppt
  5. 建筑[2009]257號關于建立建筑業企業農民工工資保證金制度的通知【5頁】.doc
  6. 城市垃圾中轉站升級改造工程項目可行性研究報告129頁.docx
  7. 湖州市南潯區石淙鎮國土空間總體規劃方案(2021-2035年)(草案公示稿)(39頁).pdf
  8. 河南省城市基礎設升級改造項目可行性研究報告(107頁).doc
  9. 城市220kV電力線路改造工程項目可行性研究報告94頁.doc
  10. 電力公司樁基、墩基施工組織設計方案(38頁).doc
  11. 800MW光伏40MWh儲能光伏示范項目可行性研究報告306頁.pdf
  12. 2023珠海城市主干道道路升級改造工程項目可行性研究報告305頁.pdf
  13. 2023城鎮老舊小區配套基礎設施建設項目可行性研究報告(163頁).pdf
  14. 城市主供水管及備用原水管工程管道安裝施工組織設計方案105頁.doc
  15. 2022城市更新改造補短板老舊小區改造項目可行性研究報告(206頁).docx
  16. 2023年城鎮老舊小區改造及配套基礎設施建設項目可行性研究報告(84頁).pdf
  17. 2023生活區城鎮老舊小區改造項目可行性研究報告(附圖)(121頁).pdf
  18. 房產中介公司員工入職業務銷售技能培訓資料合集.zip
  19. 縣城配電網110kV輸變電工程項目可行性研究報告266頁.doc
  20. 水天苑小區地源熱泵空調系統設計方案(149頁).doc
  21. 2023城鎮老舊小區改造項目可行性研究報告(122頁).pdf
  22. 淮南礦業集團棚戶區改造項目八公山新村、和平村室外變配電工程施工組織設計方案(92頁).doc
主站蜘蛛池模板: 永兴县| 邮箱| 宿松县| 滦南县| 宁化县| 正定县| 库车县| 天峻县| 泰和县| 新龙县| 博野县| 剑阁县| 鸡泽县| 固安县| 原平市| 陈巴尔虎旗| 吴桥县| 凌源市| 遂平县| 东兰县| 九寨沟县| 吉木萨尔县| 浮山县| 固原市| 谢通门县| 镇巴县| 西峡县| 岳阳市| 巴南区| 德保县| 开封市| 建瓯市| 绥中县| 简阳市| 濮阳县| 克什克腾旗| 通渭县| 丹巴县| 鄂尔多斯市| 台北市| 古蔺县|