(云计算HCIP)HCIP全笔记(十四)本篇介绍云计算存储基础,内容包含:物理存储内/外存、集中式和分布式存储差异、虚拟化和非虚拟化存储、文件系统、华为虚拟化产品的存储架构
- 物理存储转成虚拟存储池
1. 物理存储:
1.1 内存:
计算资源中的一种,cpu从内存中读取资源进行运算
- 优点:传输速度极快
- 缺点:因为使用DRAM芯片,所以一旦断电将不会保存数据,也因此不支持热插拔(冷插拔)
1.2 外存:硬盘/磁盘、软盘
1.2.1 外存分类
软盘:
- 软盘时代中电脑存在A盘跟B盘,
存储空间小,读取速度慢,后被硬盘/磁盘代替
与光盘跟磁带同时出现的时代
硬盘:
- 机械硬盘(HDD):
组成控件:磁盘、磁头、前驱电路版,接口
磁盘转的越快,传输速度越快
优点:耐用(固定位置不动)
缺点:不耐用(固定位置持续变更)
1.2.2 硬盘类别
SATA盘(串口硬盘):
- 发现错误会自动矫正,这在很大程度上提高了数据传输的可靠性。
串行接口还具有结构简单、支持热插拔的优点
SAS盘:
- 与SATA硬盘相同,但传输速度更快,价格更高。可以与SATA硬盘兼容
NL-SAS盘:
- 采用了SAS磁盘接口和SATA盘体的综合体。
- NL-SAS硬盘的转速只有7200转,因此性能比SAS硬盘差。
但是由于使用了SAS接口,所以再寻址和速度上有了提升。
固态硬盘(SSD):
-
通过芯片存储内容,通过芯片控制数据走量
-
存储芯片:
-
FLASH芯片(闪存芯片):
优点:稳定
使用场景:SSD、SD卡、U盘等
-
-
DRAM芯片(动态随机存取器):
优点:性能非常好,寿命长,读写速度快
缺点:必须通电,断电后芯片中的数据全部消失
使用场景:内存存储设备。
SSD的好处:读写快、质量轻、能耗低和体积小
缺点:寿命有限且价格高
| SSD | SAS | NL-SAS | SATA | |
|---|---|---|---|---|
| 性能 | 非常高 | 高 | 较高 | 一般 |
| 可靠性 | 一般 | 高 | 较高 | 一般 |
| 价格 | 很高 | 高 | 较便宜 | 一般 |
| 能耗 | 低 | 高 | 较低 | 较低 |
| 应用场景 | 数据访问频繁 | 数据离散的中高端用户 | 业务压力小 | 较大的数据块 |
2. 集中式存储和分布式存储:
2.1 集中式存储
内容集中存储在某一个地方
2.2 分布式存储

2.2.1 RAID技术(冗余磁盘阵列)
- 数据可靠性技术
会将物理硬盘变化成一个虚拟存储池
当数据资源存放在存储池中,会在存储池中的多个硬盘中备份数据资源
-
优点:
-
高效(多块磁盘并行读写)
-
安全(奇偶校验和热备技术)
-
| RAID 0(条带化) | RAID 1(镜像) | RAID 5(独立的数据磁盘与分布式校验块) | RAID 6 | |
|---|---|---|---|---|
| 说明 | 将两块磁盘逻辑叠加成一块硬盘使用, 等于1+1=2这么个道理 不具备冗余功能 | 将两块磁盘逻辑成一块硬盘,但与RAID 0不同, 它更相当于备份 | 每块盘中只拿出一部分空间存数据,留一小部分空间做数据(奇偶)校验 当某块硬盘损坏,其他盘可以根据存储的数据把被损坏硬盘的数据给恢复出来 | 在RAID 5上的进一步升级 除了一次校验,还多出了一部分空间用于做二次校验 |
| 使用前提 | 至少需要1块硬盘 | 至少需要2块硬盘 | 至少需要3块硬盘 | 至少需要4块硬盘 |
| 安全性 | 0 | 没有变 | 在RAID 0 和RAID 1之间 | 会比RAID 5之上 |
| 读写速度 | 比单块硬盘存储要快 | 所有RAID技术中安全性最高 | 速度可以分布存储,会比单块硬盘存储快 | |
| 备注 | 容量:依旧是一块磁盘的容量 |
2.2.2 存储空间
2.2.2.1 SAN(存储区域网络)
使用存储服务器,通过IP/FC网络将数据传输到设备上
| IP-SAN | FC-SAN | |
|---|---|---|
| 网络速度 | 1GB、10GB、40GB | 4GB、8GB、16GB |
| 网络架构 | 直接利用现有的ip网络 | 单独建设光纤网络和HBA卡 |
| 传输距离 | 理论上无限制 | 受限于光纤的传输距离 |
| 管理/维护 | 操作简单 | 技术要求较高 |
| 兼容性 | 与所有支持ip网络的设备兼容 | 兼容性差 |
| 性能 | 目前主流是1GB | 非常高的读写和传输性能 |
| 成本 | 便宜 | 高 |
| 安全性 | 较低 | 较高 |
| 使用场景 | 利用现用的以太网(IP) | 利用光纤网络 |
| 使用需求 | 只要联网就可以使用 | 需要专门的网络交换机和网络接口 |
2.2.2.2 NAS(网络附加存储)
家用较多,只要再同一个网络就可以进行简单的数据共享
一般不用于集中式存储。
专门文件存储服务器,提供共享目录。
- CIFS技术(sun公司开发,被微软收购):
基于微软服务器(SAMBA服务器)的共享原理进行的数据共享
在手机也可以使用,只需要下载提供的软件即可
- NFS技术:
类UNIX服务器(sun公司开发)
| CIFS | NFS | |
|---|---|---|
| 传输特点 | 基于网络,对可靠性要求高 | 基于网络,独立传输 |
| 易用性 | 无需额外软件(PC端) | 需要安装软件 |
| 安全性 | 无法进行错误恢复 | 保留文件格式的特性 |
2.2.3 分布式存储:
将每块服务器上的多余的硬盘都拿出来,共享合并出来一块大的共享资源存储池
很多服务器,每块服务器中也只有3、4块硬盘,
我们通过某些技术手段将每个服务器上的硬盘,合并成一个逻辑上的资源池。
这时存一部电影,可能会将电影的资源数据分开存储在不同服务器的不同的硬盘中。
将数据分开存储,但这些存储又都是在一个逻辑上的资源池中
好处:
- 当某一台服务器共享资源较小,但连接上存储池后,
哪怕贡献的存储小也可以享受到多台服务器共享的存储池
缺点:
- 当某一台服务器向共享存储池中拿取数据,但该块数据来源的服务器挂彩了,
那么就会造成数据丢失的情况
2.2.3.1 副本机制
- 解决分布式存储原有的缺点
将一个文件复制成多份,分别存储在多个服务器的硬盘中。
这样即使有一台服务器挂彩了,其他的服务器中也能够找到。
读取的时候,只读其中一份数据。
存进去三份数据,读只读取一份数据
最常用的是双副本,三副本
根据DHT算法,来进行将文件分成多份,将文件往服务器硬盘中存储数据
在副本机制中是可以做RAID技术的,但是不会去用
2.2.3.2 场景分布式存储产品:
- CEPH(开源)
- HDFS(开源)
- FusionStorage(闭源)(华为自研)
- vSAN(闭源)(vmware自研)
2.2.5 虚拟化存储和非虚拟化存储:
2.2.5.1 虚拟化存储的转换路径
通过RAID或副本机制将硬盘转换成一个物理卷
然后进行逻辑划分成一个个的逻辑卷
再把这些逻辑卷挂载给计算机并进行格式化
这样就变成了虚拟化文件系统
这样变成文件系统后就可以成为或拥有多个共享目录
2.2.5.2 非虚拟化存储的转换路径
通过RAID或副本机制将硬盘转换成一个物理卷
然后进行逻辑划分成一个个的逻辑卷
再把这些逻辑卷挂载给计算机
这样就可以使用,这样就没有文件系统
3. 虚拟化存储:
3.1 架构:
硬盘转换成存储池
存储池包含NAS跟SAN两个存储池
在存储池中NAS会使用文件系统
SAN则使用逻辑划分将存储池中从存储空间划分成一个个逻辑卷
最后经由文件系统或是逻辑卷变成虚拟资源(qcow,raw,vmdk,vhd,others)
优点:
- 支持更多的虚拟化特性
缺点:
- 性能较差
4. 非虚拟化存储:
4.1 架构:
硬盘转换成分布式存储池,根据逻辑划分
将存储池中的存储空间划分成一个个逻辑卷,再由逻辑卷转换成资源
优点
- 性能好。
缺点:
- 无法支持高级特性。
5. 文件系统:
文件的分层组织结构,操作系统有了文件系统之后,数据以文件和文件夹的形式提现,
开源做到文件的复制、粘贴、删除、和恢复
操作系统的文件系统:NTFS(windows)、ext2/3/4(linux)、FAT32(U盘)、exFAT
NAS存储的文件系统:CIFS、NFS
-
虚拟化集群的文件系统:VIMS(华为)、VMFS(vmware)
自己做虚拟化的厂商一般都会自己定义
格式化:重新写入文件系统、文件将会丢失
文件映射到磁盘的过程:

用户创建某个文件后,就会再磁盘的物理区域进行保存,
当删除该用户的文件后,只是将文件系统的文件映射打断了,
这时的文件实际上还存在于磁盘的物理区域
只有重新创建东西,在磁盘的物理区域中将原来的东西替换掉了,
这样原来的数据才会无法恢复
5.1 虚拟机磁盘介绍:
硬盘:
- 硬盘在系统中的说法叫做磁盘,也可以用硬盘的存储资源分配成多个磁盘
分区:
- 由磁盘被任意大小的内存分配成一块区域,这个区域叫做分区
5.1.1 常见虚拟机磁盘格式:
| 虚拟机磁盘文件格式 | 支持的厂商 |
|---|---|
| RAW | 各厂商通用 |
| VMDK | VMware |
| VHD | 微软Hyper-V、华为FusionCompute |
| QCOW | QEMU或KVM虚拟化平台专用 |
| QED | QEMU或KVM虚拟化平台专用 |
| VDI | Oracle |
6. 华为虚拟化产品存储架构
数据存储:
-
如何获得:对存储设备进行格式化的方式来获得数据存储
-
只有数据存储才能将资源分配给虚拟机
-
对数据存储分磁盘
存储设备:
-
如何获得:只能通过扫描存储资源的方式获得
-
存储资源中的最小管理单元
扫描的是逻辑卷、LUN、共享目录…
存储资源:
-
如何获得:可以添加资源进虚拟化平台,来获得存储资源
-
类似于硬盘,用于存东西的资源;
相关技术有:FusionStorage、SAN/NAS
FusionStorage:可以将大量的可用数据资源分成多个逻辑卷,使用逻辑卷进行存储
SAN:将数据分成多个LUN,用LUN进行存储
NAS:将数据分成共享目录,一个目录就可以代表一个存储空间
6.1 华为虚拟磁盘的特性:
类型:
- 普通磁盘 -> 1个磁盘只能对一台虚拟机使用,但一台虚拟机可以有多块磁盘
- 共享磁盘 -> 1个磁盘可以给N台虚拟机使用。
配置模式只能为【普通】
配置模式:
磁盘创建:
-
创建磁盘
-
用0将磁盘填满(置零)
很耗时间,10T的数据资源,需要太多的二进制0来填充
6.1.1 普通
- 创建磁盘后立即分配所用空间(10G)
创建10个G的容量,就会立刻分配所有空间无论使用 - 分配完成后立马进行置零操作
6.1.2 精简
- 按照需求去创建空间
容量的大小就是决定该磁盘的存储上限
需求需要1G的空间,那么会由系统向磁盘创建1G空间- 等于是用多少创建多少
特点:
- 当数据存储只有1T,而磁盘容量设置为2T,是可以设置的,
但是上限还是只有1T,因为数据存储只有1T。
这个只有精简模式可以设置
6.1.3 普通延迟置零
- 创建磁盘后立即分配所用空间(10G)
- 磁盘创建好后不进行置零操作
延迟到虚拟机进行写操作时开始置零
只有以下方式才可以使用该配置模式:
虚拟化本地磁盘
数据存储
==虚拟化的SAN存储 ==
好处:创建磁盘时间快
6.2 磁盘模式
| 从属(普通) | 独立-持久 | 持久 | 独立-非持久 | 非持久 | |
|---|---|---|---|---|---|
| 使用需求 | 快照中包含该磁盘 | 快照中不包含该磁盘 | 数据永久写入 | 快照中不包含该磁盘 | 当虚拟机发生断电操作,那么数据就不会被保存 |
数据永久写入 |
7. ❤️HCIP专栏——前文链接
- (云计算HCIP)价值8k的上万字学习笔记,考华为云计算HICP的有福啦!HCIP全笔记(一)本篇涵盖 云计算概述,谈及虚拟化、云计算的介绍、云服务模式、部署模式的区别和主流云计算技术
- (云计算HCIP)价值8k的上万字学习笔记,考华为云计算HICP的有福啦!HCIP全笔记(二)本篇介绍服务器基础、硬件结构、RAID冗余阵列
- (云计算HCIP)价值8k的上万字学习笔记,考华为云计算HICP的有福啦!HCIP全笔记(三)本篇介绍网卡、华为服务器网卡类型、电源和风扇、服务器关键技术:BIOS、IBMC、BMC、IPMI
- (云计算HCIP)价值8k的上万字学习笔记,考华为云计算HICP的有福啦!HCIP全笔记(四)本篇介绍 存储技术、硬盘类型、存储架构:DAS、SAN、NAS等
- (云计算HCIP)价值8k的上万字学习笔记,考华为云计算HICP的有福啦!HCIP全笔记(五)本篇介绍存储形态、RAID技术特点与工作原理、RAID的常见级别介绍
- (云计算HCIP)价值8k的上万字学习笔记,考华为云计算HICP的有福啦!HCIP全笔记(六)本篇介绍存储协议,包含:SCSI、iSCSI、FC协议、iFCP协议、FCoE协议;FC协议与TCP协议
- (云计算HCIP)HCIP全笔记(七)本篇介绍网络技术基础,包含:网关、交换机、路由的介绍,OSI网络参考模型、TCP/IP协议栈、TCP和UDP协议、SSH协议
- (云计算HCIP)HCIP全笔记(八)本篇介绍网络技术基础,包含:网络交换的流程、交换机原理、VLAN技术、VLAN划分与接口类型、路由原理、路由转发流程、静态路由和默认路由
- (云计算HCIP)HCIP全笔记(九)本篇介绍操作系统基础,内容包含:操作系统组成、分类和定义,Linux的特性结构和Linux版本分类
- (云计算HCIP)HCIP全笔记(十)本篇介绍操作系统基础,内容包含:linux命令使用、linux文件相关命令、vim的使用、配置openEuler静态IP地址、设置主机名 等
- (云计算HCIP)HCIP全笔记(十一)本篇介绍虚拟化技术,内容包含:虚拟化介绍、虚拟化定义、虚拟化重要概念、虚拟机类型、虚拟化的特点:分区、隔离、封装、硬件独立
- (云计算HCIP)HCIP全笔记(十二)本篇介绍虚拟化技术,内容包含:虚拟化资源、CPU虚拟化、KUMA、KVM介绍、模拟CPU指令、敏感指令区分、内存虚拟化、TLB技术、影子页表技术
- (云计算HCIP)HCIP全笔记(十三)本篇介绍虚拟化技术,内容包含:虚拟化资源、虚拟化过程、I/O虚拟化、虚拟化架构KVM和Xen介绍、主流虚拟化技术介绍
8. 💕👉博客专栏
更多推荐
所有评论(0)