一文熟知阿里云对象存储OSS

对象存储OSS是什么？

对象存储服务（Object Storage Service，简称 OSS），以 HTTP RESTful API 的形式对外提供服务，是阿里云提供的海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面覆盖从热到冷的各种数据，优化存储成本。其数据可靠性不低于 99.9999999999%（12 个 9），服务可用性不低于 99.995%。

对象存储OSS能做什么？

OSS 具有与平台无关的 RESTful API 接口，可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。

对象存储OSS与传统存储有哪些区别？

SAN(块存储) 和 NAS(文件存储)都是面向数据中心内访问的设备，而OSS（对象存储）产生的目的根本就不是在数据中心内使用，而是面向互联网、移动互联网(3G、4G、5G)而产生的，为大量使用的网页、视频、图片、音频、文档访问而设计。

对象存储OSS有哪些功能？

多种存储类型

支持数据冷热分层，提供更具性价比的存储方式

• 数据冷热分层维度

提供标准型、低频型、归档型以及冷归档型四种存储类型，满足不同场景的数据存储,了解存储类型详情

• 数据冗余维度

提供同城区域冗余ZRS、本地冗余LRS类型；ZRS，将数据冗余存放在多个可用区，具备机房级容灾能力；LRS，将数据冗余存放在同一可用区的多个设备，抵御硬盘/存储服务器级故障。

数据保护与安全

支持多冗余的可靠架构、完整性校验、权限控制、加密、日志审计、数据合规等，提供更可靠、更安全、更合规的对象存储

数据可靠

多重冗余分布式架构，有效应对各类硬件故障，消除单点隐患，提供最大12个9的数据持久性设计

完整性校验

存储和读取数据时，对网络流量计算CRC64校验和，检测数据包是否损坏，确保数据完整性

完善的权限控制

提供RAM、ACL、BucketPolicy、URL签名等多种访问控制机制，支持Bucket、Object、API级细粒度授权

网络访问安全防护

支持防盗链，支持通过BucketPolicy设置IP黑白名单或限制只能Https访问

数据加密

提供服务端加密、客户端加密的多种数据加密选项

日志审计

支持将OSS访问记录，按小时导出成日志文件，用于分析与审计；支持实时日志查询，结合日志服务，分钟级日志推送，秒级查询与可视化分析

数据合规

OSS支持WORM策略（一次写入，多次读取）， 保护周期内，任何人都不能对文件进行修改和删除，满足行业合规要求。同时，阿里云通过国内外多项认证，率先将众多的合规控制点，融入云平台内控管理和产品设计中了解更多详情。

企业级数据管理

支持生命周期、回源、更丰富的数据上传与下载方式、事件通知、回调等，提供更简单易用、更便于管理的对象存储

生命周期

可定义数据的生命周期，将符合规则的对象转换存储类型或过期清除

镜像回源

支持配置用户源站，当访问数据不在OSS时，OSS会从源站拉取并写入OSS

文件上传

支持PutObject、PostObject、MultipartUpload、AppendObject方式。其中，Append上传的文件，支持在文件末尾追加内容

文件下载

支持简单下载、断点续传下载，其中断点续传下载，可设置从Object指定的位置开始下载

云监控

对接云监控，支持OSS基础服务指标、性能指标和计量指标的监控

事件通知

支持事件通知，OSS上Object相关操作可触发事件通知，用户可设置触发器，以执行各种操作

实时日志

支持导出访问日志到用户Bucket，也可结合日志服务，对OSS访问记录实时查询、可视化分析，满足企业运维审计、业务分析等需求

数据处理能力

支持图片、文档、视频、CSV等数据的常用处理和分析能力，提供更智能的对象存储

图片处理

支持jpg、png、bmp、gif、webp、tiff等格式的转换，以及缩略图、剪裁、水印、缩放等多种操作

视频截帧

支持截取出视频中的指定位置生成图片，完成视频截帧

文档预览

支持对ppt、xls、doc、pdf 等格式文档进行在线预览

标签识别

支持图片场景标签识别，如交通工具、电子产品、常用物品、饮食等，支持分层标签

人脸识别

支持图片中多张人脸的位置与属性检测，如性别、年龄、情绪、头部姿势、眼睛状态、模糊度等

OSS Select

支持通过SQL选取CSV、JSON文件内容，而无需下载整个文件再分析，可为大数据应用提速

数据生态丰富

支持对接开源生态、阿里云丰富的计算产品、数据管理产品，帮助客户释放数据更大的业务价值

开源生态

中国首家被Hadoop官方社区支持的云存储，可对接丰富的开源生态。用户可通过Logstash、Flume将日志投递到OSS，可在Hadoop、Spark、Hive、Impala、Flink、Presto中访问OSS，通过计算存储分离架构，将温数据、冷数据存储在OSS。

计算产品对接

OSS无缝对接阿里云日志服务、EMR、DataLakeAnalytics、函数计算、批量计算、MaxCompute，满足用户日志投递、离线处理、交互式查询、Severless触发计算、批量计算等场景需求。

数据管理生态

支持通过阿里云DBS，将各类数据库备份到OSS；通过数据集成，将数据导入到OSS；通过阿里云混合云存储阵列结合云上OSS，可实现本地和云端存储空间的无缝结合。

大规模数据迁移

支持PB级的在线、离线迁移方案，完成中国互联网首个单客户百PB级数据的迁移上云案例，提供更安全、更快速海量数据迁移上云方案

离线数据迁移

闪电立方可将用户线下数据，安全、高效的迁移到OSS，提供端到端的加密机制，支持TB到PB级数据迁移上云

在线数据迁移

用户可使用阿里云在线数据迁移服务、OSSImport工具，将第三方云存储、自建线下存储等各类数据，在线迁移到OSS，支持TB至PB级数据迁移到OSS

HDFS数据迁移

通过Hadoop对OSS的支持，用户可以在自建的Hadoop集群或通过阿里云EMR，将HDFS中大规模的数据迁移到OSS

对象存储OSS有哪些技术优势？

对象存储设置之初便是面向网络、海量数据的高可靠、高可用、可弹性扩容的公共服务。

任意大小数据对象存储

• 单个对象最大可存48TB
  • Normal （0～5GB）
  • Multipart（0～48.8TB）
  • Appendable（0～5GB）
• 针对移动场景的调优
  • 断点续传
  • Multipart Part最小可以到100KB
• Append
  • 满足边写边读

海量存储

• 可线性扩展
• 万台单集群

弹性扩容

能够自适应业务数据快速增长，避免出现存储空间被打爆，通过业界领先的资源供应链管理、软件分布式弹性设计，实现 百 EB 级空间、百万亿级对象规模 能力

高可靠性

指在硬盘、服务器、网络等故障情况下，以及火灾、地震、洪水等灾害时，可以有效防止数据丢失，通过跨机机柜、机房、区域的数据冗余，实现了99.9999999999%（12 个 9）的高可靠性

• 同城冗余存储(3AZ)，实现 RPO 为 0 的容灾能力。基于遵守 PAXOS 的一致性协议、精妙设计的 AZ 间带宽和时延、以及数据分片的策略，保证了 AZ 故障后的快速切换，零数据丢失。经过蚂蚁主站(支付宝账单、刷脸类业务)、网商银行、淘宝短视频、天猫大屏等的业务打磨，检验了 3AZ 的能力，得到了广泛认可。
• 跨区域复制2.0，实现 RPO 为秒级～分钟级的容灾能力。新版本的复制，在性能优化、用户隔离、依赖解藕方面，做了针对性设计优化，提高了复制的能力。同时，针对云客户在同城两数据中心场景下，实现 OSS 的桶能够跨两数据中心保存数据的需求，开发了 OSS 双集群同城容灾 特性。

高可用性

指在服务器故障时、光纤挖断时，可自动切换实现业务连续性，通过容错设计，实现了 99.995% 的可用性

安全存储

指数据访问的认证、授权、加密、以及行业法规遵从，支持多项合规认证，比如 KMS 加密、WORM 认证等

自动生命管理

支持冷热数据的管理，优化 TCO，提供标准、低频、归档存储，并自动化迁移，优化存储使用成本。

公共服务

• 多租户
• 隔离
• QoS

对象存储OSS有哪些产品优势？

稳定可靠

OSS作为阿里巴巴全集团数据存储的核心基础设施，多年支撑双十一业务高峰，历经高可用与高可靠的严苛考验。OSS的多重冗余架构设计，为数据持久存储提供可靠保障。同时，OSS基于高可用架构设计，消除单节故障，确保数据业务的持续性。

安全合规

支持服务端加密、客户端加密、防盗链、IP黑白名单、细粒度权限管控、日志审计、WORM特性，并获得多项合规认证，包括SEC、FINRA等，满足企业数据安全与合规要求。

智能存储

提供多种数据处理能力，如图片处理、视频截帧、文档预览、图片场景识别、人脸识别、SQL就地查询等，并无缝对接Hadoop生态、以及阿里云函数计算、EMR、DataLakeAnalytics、BatchCompute、MaxCompute、DBS等产品，满足企业数据分析与管理的需求。

数据分层

提供标准、低频、归档以及冷归档多种类型，通过生命周期自动化实现数据类型转换与过期管理，覆盖从热到冷多种存储场景。

方便易用

提供RESTFul API、控制台、多种开发语言的SDK、命令行工具、图形化工具等多种使用方式，可以随时随地通过网络管理数据。

弹性扩容

支持按量付费模式，按实际使用量付费，无需提前一次性投入。同时，自动弹性扩展，不限用户存储的容量和文件数目，满足EB级海量存储需求。

对象存储OSS有哪些基本概念？

存储空间（Bucket）

用于存储对象（Object）的容器，同一个存储空间的内部是扁平的，没有文件系统的目录等概念，所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性，包括地域、访问权限、存储类型等。可根据实际需求，创建不同存储空间存储不同数据。

对象/文件（Object）

是 OSS 存储数据的基本单元，也被称为 OSS 的文件。对象由元信息（Object Meta）、用户数据（Data）和文件名（Key）组成。对象由存储空间内部唯一的 Key 来标识。对象元信息是一组键值对，表示了对象的一些属性，比如最后修改时间、大小等信息，支持在元信息中存储一些自定义的信息。对象的生命周期是从上传成功到被删除为止。

对象存储类型

OSS 提供标准、低频访问、归档、冷归档四种存储类型，全面覆盖从热到冷的各种数据存储场景，四种存储类型适用场景及特征对比如下表：

地域（Region）

表示 OSS 的数据中心所在物理位置，是在创建 Bucket 的时候指定的，一旦指定之后就不允许更改，可根据费用、请求来源等选择合适的地域创建 Bucket

访问域名（Endpoint）

表示 OSS 对外服务的访问域名。OSS 以 HTTP RESTful API 的形式对外提供服务，当访问不同地域的时候，需要不同的域名。通过内网和外网访问同一个地域所需要的域名也是不同的

访问密钥（AccessKey，AK）

OSS 通过使用 AccessKeyId 和 AccessKeySecret 对称加密的方法来验证某个请求的发送者身份。AccessKeyId 用于标识用户；AccessKeySecret 是用户用于加密签名字符串和 OSS 用来验证签名字符串的密钥，AccessKey 的来源有：

• Bucket 的拥有者申请的 AccessKey。
• 被 Bucket 的拥有者通过 RAM 授权给第三方请求者的 AccessKey。
• 被 Bucket 的拥有者通过 STS 授权给第三方请求者的 AccessKey。

如何使用对象存储OSS？

OSS 以 HTTP RESTful API 的形式对外提供服务，数据文件以对象（Object）的形式上传到存储空间（Bucket）中，用户可以通过网络随时存储和调用包括文本、图片、音频和视频等在内的各种非结构化数据文件。

通过阿里云OSS控制台

OSS控制台是界面形式的Web应用程序，可以通过阿里云主站登陆后访问，主要用于开通对象存储服务，对存储空间、文件和文件夹执行相关的基础和高级操作，直观易用。

通过图形化管理工具 ossbrowser

ossbrowser 是图形化的 OSS 数据管理工具，支持 Windows、Linux、Mac 平台,可以通过图形化界面方便直观地浏览文件、上传下载文件和文件夹（目录）、断点续传、图形化 Policy 授权等操作。

通过命令行管理工具 ossutil

ossutil 是以命令行方式管理 OSS 数据的工具，支持 Windows、Linux、Mac 平台。ossutil 提供方便、简洁、丰富的 Bucket 和 Object 管理命令，操作性能好，可并发上传。支持文件和文件夹（目录）上传下载、断点续传等。

通过集成SDK

OSS目前提供13种语言的SDK 包，包括Java/Python/PHP/Go/C/C++/.NET/Android/iOS/Node.js/Browser.js/Ruby/Media-C

OSS 的更多高级操作，请参见阿里云 OSS 开发指南。

对象存储OSS是如何计费的？

付费方式

• 按量付费：按实际使用量*单价的方式计费，每小时统计前一小时的实际用量并从账户余额中扣除实际消费金额。例如当前时间是 9:30，结算的是 8:00-9:00 产生的费用。注意：
  • OSS 提供的所有付费服务都支持按量付费。
  • 因账单系统目前存在延迟，您在 9:30 查看到的可能是 7:00-8:00 的费用账单。
• 包年包月：预先购买指定资源包，之后使用资源时，扣除相应的额度。一般情况下，包年包月比按量付费更加优惠。资源包目前仅提供标准（LRS）存储包、低频（LRS）存储包、归档（LRS）存储包、标准（ZRS）存储包、低频（ZRS）存储包、下行流量包、 回源流量包、传输加速包，可购买地域请参见购买对象存储 OSS 资源包。注意：
  • 资源包使用无限制，超出资源包额度的部分采用按量付费的方式。

费用组成

OSS 服务费用由存储费用、流量费用、请求费用、数据处理费用、对象标签费用、传输加速费用组成：

注意： OSS 的所有收费项目都是单独计费的，例如您在 OSS 的存储空间内存放了 100GB 数据，会产生存储费用；若每天有不同的客户通过外网访问您的数据，则您还会额外产生请求费用和外网流出流量费用。

对象存储OSS有哪些行业实战场景？

图片和音视频等应用的海量多媒体数据存储

OSS可用于图片、音视频、日志等海量文件的存储。各种终端设备、Web网站程序、移动应用可以直接向OSS写入或读取数据。OSS支持流式写入和文件写入两种方式。强大的技术保障为您提供12个9的数据写入可靠性保障，与阿里云 CDN和视频转码无缝结合。

网站/应用动静分离

提供更低成本、易扩展的存储服务，特别适合图片、音视频、移动应用的更新、分发场景，可以像文件夹一样管理您网站上的图片，脚本，视频等静态资源，通过BGP网络或者CDN加速的方式，提供用户就近访问、超低延时的数据直接下载，资源弹性伸缩，按需付费，有效降低云服务器负载和运营成本，最大程度提升用户体验。

云端数据处理

上传文件到OSS后，可以配合媒体转码服务(MTS)，图片处理服务（IMG），批量计算服务、离线数据处理服务（ODPS）充分挖掘您数据的价值，引领从IT到DT的变革。

多存储类型

存储分层，成本直降，全面覆盖从有热点存在、频繁访问的各类音视频、图片数据，到低频访问的各类备份数据，再到长期归档的数据。 配合Lifecycle机制，按照配置的时间周期，将数据转储到更低单价的存储类型上，优化存储成本。

跨区域容灾

OSS提供跨区域复制功能，用户存储数据可以通过的跨区域复制功能实时同步到指定区域，实现数据异地容灾，从容应对极端灾难保证业务流畅，为重要数据加上多重保险。

对象存储OSS的市场地位如何？

云厂商市场份额及排名

根据Canalys 最新发布的《2019年全球云计算基础设施支出调研报告》数据显示，2019年，全球云计算领域市场规模达到1071亿美元，同比大幅增长了37.6%。

亚马逊、微软、谷歌和阿里云占据着全球60%云服务市场份额。其中，亚马逊AWS市场份额为32.3%，排名全球第一；微软Azure市场份额提升至16.9%，排名全球第二；谷歌云市场份额为5%，排名全球第三；阿里云市场份额为4.9%，排名全球第四，亚太第一。

云对象存储产品能力排名

2020年8月，国际知名咨询机构Gartner发布了最新云厂商产品评估报告，在云存储大类中，阿里云存储得分13.7（总分15），排名第二，与排名第一的AWS仅差0.1，阿里云已连续两年入选该报告，也是唯一入选的中国厂商。

在存储 40 条评估细项中，既包括主流的对象存储、块存储和文件存储产品服务能力评估，同时也涵盖数据迁移、跨区域复制、快照生命周期管理及数据加密等高级存储服务能力。阿里云存储在本次评估中的必备能力项目得分赢得大满贯，对象存储OSS 产品能力得分也历史性超越对象存储领域泰山鼻祖 AWS S3，分析师认为，OSS数据强一致性选项， 相比S3的最终一致性，用户业务开发和使用更简单。同时，OSS 可用性 SLA 全球第一，可达 99.995%, 领先 AWS 等云厂商 10~20 倍，让用户的业务更稳定。

关于对象存储OSS的一些感想

Karl Marx说的好，生产力决定生产关系，云计算的概念层出不穷，其本质上还是对生产关系和生产力的配置与优化，OSS作为阿里云四大基础套件之一，亚洲云市场领军者，正以独特的智慧和思考，继往开来承接并演进着下一代对象存储产品的使命。