对象存储（云存储）概述

大家好，欢迎来到IT知识分享网。

文章目录
三种存储形态
1、块存储
2、文件存储
3、对象存储
对象存储
对象存储需求
对象存储含义
对象存储与传统网络存储的区别
扩展知识：NAS与SAN概述
1、NAS（Network Attached Storage）
优点
局限
2、SAN(Storage Area Network and SAN Protocols)
优点
局限
对象存储的特性
1、优秀的扩展性
2、基于策略的自动化管理
3、多租户技术
扩展知识：多租户技术介绍
对象存储结构
1、对象（Object）
2、对象存储设备
3、元数据服务器（Metadata Server，MDS）
4、对象存储系统的客户端（Client）
对象存储应用场景
注
三种存储形态

三种存储形态和存储架构示意图
1、块存储
  块存储我们简单的理解就是一块一块的硬盘，直接挂载在主机上，在主机上我们能够看到的就是一块块的硬盘以及硬盘分区。从存储架构的角度而言，块存储又分为DAS存储（Direct-Attached Storage，直连式存储）和SAN存储（Storage Area Network，存储区域网络）。

对象存储
对象存储需求
  随着互联网，Web应用创建出数百亿的小文件;人们上传海量的照片、视频、音乐，Facebook每天都新增数十亿条内容，人们每天发送数千亿封电子邮件。据IDC统计未来在10年间数据将增长44倍，到2020年全球数据将增加到35ZB，其中80%是非结构化数据，且大部分是非活跃数据。

  面对如此庞大的数据量，仅具备PB级扩展能力的块存储(SAN)和文件存储(NAS)显得有些无能为力：通常块存储(SAN)的一个LUN容量仅数TB。单个文件系统最优性能情况下支持的文件数量通常只在百万级别。人们需要一种全新的架构的存储系统，这种存储系统需要具备极高的可扩展性，能够满足人们对存储容量TB到EB规模的扩展的需求。

  2006年Amazon发布AWS, S3 服务及其使用的REST、SOAP访问接口成为对象存储的事实标准。Amazon S3成功为对象存储注入云服务基因。

对象存储含义
  存储局域网(SAN)和网络附加存储(NAS)是目前两种主流网络存储架构，而对象存储（Object-based Storage）是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device）简称OSD。总体上来讲，对象存储（Object-Based Storage, OBS)综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的分布式数据共享等优势，提供了具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系结构。
  对象存储核心是将数据通路（数据读或写）和控制通路（元数据）分离，并且基于对象存储设备（OSD）构建存储系统，每个对象存储设备具有一定的智能，能够自动管理其上的数据分布。

  对象存储是一种基于对象的存储设备，具备智能、自我管理能力，通过web服务协议(如：REST、SOAP)实现对象的读写和存储资源的访问。

  对象存储系统包含两种数据描述：容器(Bucket)、对象(Object)。容器和对象都有一个全局唯一的ID。对象存储采用扁平化结构管理所有数据，用户/应用通过接入码(AccessKey)认证后，只需要根据ID就可以访问容器/对象及相关的数据(Data)、元数据(metadata)和对象属性(Attribute)。

扩展知识：NAS与SAN概述
1、NAS（Network Attached Storage）
  NAS（Network Attached Storage：网络附属存储）按字面简单说就是连接在网络上，具备资料存储功能的装置，因此也称为“网络存储器”。它是一种专用数据存储服务器。它以数据为中心，将存储设备与服务器彻底分离，集中管理数据，从而释放带宽、提高性能、降低总拥有成本、保护投资。其成本远远低于使用服务器存储，而效率却远远高于后者。
  它采用NFS或CIFS命令集访问数据，以文件为传输协议，通过TCP/IP实现网络化存储，可扩展性好、价格便宜、用户易管理，如目前在集群计算中应用较多的NFS文件系统，但由于NAS的协议开销高、带宽低、延迟大，不利于在高性能集群中应用。

优点
  NAS产品是真正即插即用的产品。NAS设备一般支持多计算机平台，用户通过网络支持协议可进入相同的文档，因而NAS设备无需改造即可用于混合Unix/Windows NT局域网内。 　　
  NAS设备的物理位置同样是灵活的。它们可放置在工作组内，靠近数据中心的应用服务器，或者也可放在其他地点，通过物理链路与网络连接起来。无需应用服务器的干预，NAS设备允许用户在网络上存取数据，这样既可减小CPU的开销，也能显著改善网络的性能。

局限
  NAS没有解决与文件服务器相关的一个关键性问题，即备份过程中的带宽消耗。与将备份数据流从LAN中转移出去的存储区域网（SAN）不同，NAS仍使用网络进行备份和恢复。NAS 的一个缺点是它将存储事务由并行SCSI连接转移到了网络上。这就是说LAN除了必须处理正常的最终用户传输流外，还必须处理包括备份操作的存储磁盘请求。
  由于存储数据通过普通数据网络传输，因此易受网络上其它流量的影响。当网络上有其它大数据流量时会严重影响系统性能；由于存储数据通过普通数据网络传输，因此容易产生数据泄漏等安全问题；
  存储只能以文件方式访问，而不能像普通文件系统一样直接访问物理数据块，因此会在某些情况下严重影响系统效率，比如大型数据库就不能使用NAS。

  对象存储系统包含两种数据描述：容器(Bucket)、对象(Object)。容器和对象都有一个全局唯一的ID。对象存储采用扁平化结构管理所有数据，用户/应用通过接入码(AccessKey)认证后，只需要根据ID就可以访问容器/对象及相关的数据(Data)、元数据(metadata)和对象属性(Attribute)。

  对象存储以对象ID为基础，扁平化的管理所有对象和桶，根据对象ID便可直接访问数据，解决了NAS复杂的目录树结构在海量数据情况下的数据查找耗时长的问题，这使得对象存储具备极强的扩展性，能够轻松实现单一名字空间内支持百亿级文件的存储。

  在重复数据删除，绿色节能等特性基础上，为了更好的满足海量数据存储和公众云服务需求，对象存储系统还包括如下一些关键特性：

  多租户技术（英语：multi-tenancy technology）或称多重租赁技术，是一种软件架构技术，它是在探讨与实现如何于多用户的环境下共用相同的系统或程序组件，并且仍可确保各用户间数据的隔离性。

  云计算可以划分为以下几个层次的服务——IaaS、PaaS和SaaS，而今天我们今天讲的多租户架构就是一种常见的 SaaS 软件架构模式。多租户技术是实现如何在多用户环境下（此处的多用户一般是面向企业用户）共用相同的系统或程序组件，并且可确保各用户间数据的隔离性。 简单讲：在一台服务器上运行单个应用实例，它为多个租户（客户）提供服务。从定义中我们可以理解：多租户是一种架构，目的是为了让多用户环境下使用同一套程序，且保证用户间数据隔离。那么重点就很浅显易懂了，多租户的重点就是同一套程序下实现多用户数据的隔离。

对象存储结构

对象存储结构
  对象存储结构由 对象、对象存储设备、元数据服务器、对象存储系统的客户端 四部分组成。

传统块存储和对象存储示意图

对象存储中对象（Object）的组成
2、对象存储设备
  每个OSD都是一个智能设备，具有自己的存储介质、处理器、内存以及网络系统等，负责管理本地的Object，是对象存储系统的核心。OSD同块设备的不同不在于存储介质，而在于两者提供的访问接口。OSD的主要功能包括数据存储和安全访问。目前国际上通常采用刀片式结构实现对象存储设备。OSD提供三个主要功能：

数据存储。OSD管理对象数据，并将它们放置在标准的磁盘系统上，OSD不提供块接口访问方式，Client请求数据时用对象ID、偏移进行数据读写。
智能分布。OSD用其自身的CPU和内存优化数据分布，并支持数据的预取。由于OSD可以智能地支持对象的预取，从而可以优化磁盘的性能。
每个对象元数据的管理。OSD管理存储在其上对象的元数据，该元数据与传统的inode元数据相似，通常包括对象的数据块和对象的长度。而在传统的NAS系统中，这些元数据是由文件服务器维护的，对象存储架构将系统中主要的元数据管理工作由OSD来完成，降低了Client的开销。

传统模型与OSD模型示意
3、元数据服务器（Metadata Server，MDS）
  MDS控制Client与OSD对象的交互，为客户端提供元数据，主要是文件的逻辑视图，包括文件与目录的组织关系、每个文件所对应的OSD等。主要提供以下几个功能：

对象存储访问。MDS构造、管理描述每个文件分布的视图，允许Client直接访问对象。MDS为Client提供访问该文件所含对象的能力，OSD在接收到每个请求时将先验证该能力，然后才可以访问。
文件和目录访问管理。MDS在存储系统上构建一个文件结构，包括限额控制、目录和文件的创建和删除、访问控制等。
Client Cache一致性。为了提高Client性能，在对象存储系统设计时通常支持Client方的Cache。由于引入Client方的Cache，带来了Cache一致性问题，MDS支持基于Client的文件Cache，当Cache的文件发生改变时，将通知Client刷新Cache，从而防止Cache不一致引发的问题。
4、对象存储系统的客户端（Client）
  为了有效支持Client支持访问OSD上的对象，需要在计算节点实现对象存储系统的Client。现有的应用对数据的访问大部分都是通过POSIX文件方式进行的，对象存储系统提供给用户的也是标准的POSIX文件访问接口。接口具有和通用文件系统相同的访问方式，同时为了提高性能，也具有对数据的Cache功能和文件的条带功能。同时，文件系统必须维护不同客户端上Cache的一致性，保证文件系统的数据一致。文件系统读访问流程：

1)客户端应用发出读请求;
2)文件系统向元数据服务器发送请求，获取要读取的数据所在的OSD;
3)然后直接向每个OSD发送数据读取请求；
4)OSD得到请求以后，判断要读取的Object，并根据此Object要求的认证方式，对客户端进行认证，如果此客户端得到授权，则将Object的数据返回给客户端；
5)文件系统收到OSD返回的数据以后，读操作完成。
对象存储应用场景
  通常，无论是虚拟主机还是独立云主机，作为个人网站都会把所有的图片都存储在空间里，这样有一下几个问题：

随着网站的运行，图片越来越多，会导致主机的空间使用越来越多；
图片的增多会导致网站页面打开速度越来越慢，因为越来越多的图片需要从服务器上下载到本地浏览器的缓存目录，这样需要越来越多的宽带，而虚拟主机或云主机通常的宽带都是限定的；
网站迁移的成本越来越大。
  如果使用了云存储，这样可以把图片存储在第三方，所有的图片都不会再消耗虚拟主机的宽带资源和磁盘资源，保证网站访问速度不受影响，迁移网站只需要迁移数据库和基本程序文件即可，基本上几十M就可以打包所有的文件，所以云存储的好处显而易见。

还有很多的应用场景，此处不一一列举。

注
文章是个人知识点整理总结，如有错误和不足之处欢迎指正。
如有疑问、或希望与笔者探讨技术问题（包括但不限于本章内容），欢迎添加笔者微信（o）。请备注“探讨技术问题”。欢迎交流、一起进步。
http://www.chinastor.com/a/jishu/OSD.html
https://blog.csdn.net/liuaigui/article/details/
https://www.wopus.org/tools/4868.html
http://storage.chinabyte.com/145/12496645.shtml
————————————————
版权声明：本文为CSDN博主「如月之恒-」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/nihaoa50/article/details/