一文熟知阿里云对象存储OSS

对象存储OSS是什么?

对象存储服务(Object Storage Service,简称 OSS),以 HTTP RESTful API 的形式对外提供服务,是阿里云提供的海量、安全、低成本、高可靠的云存储服务,适合存放任意类型的文件。容量和处理能力弹性扩展,多种存储类型供选择,全面覆盖从热到冷的各种数据,优化存储成本。其数据可靠性不低于 99.9999999999%(12 个 9),服务可用性不低于 99.995%。

对象存储OSS能做什么?

OSS 具有与平台无关的 RESTful API 接口,可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。

一文熟知阿里云对象存储OSS
阿里云-云存储产品生态

对象存储OSS与传统存储有哪些区别?

SAN(块存储) 和 NAS(文件存储)都是面向数据中心内访问的设备,而OSS(对象存储)产生的目的根本就不是在数据中心内使用,而是面向互联网、移动互联网(3G、4G、5G)而产生的,为大量使用的网页、视频、图片、音频、文档访问而设计。

一文熟知阿里云对象存储OSS
源自:对象存储 OSS 的智能数据分析处理框架

对象存储OSS有哪些功能?

多种存储类型

支持数据冷热分层,提供更具性价比的存储方式

  • 数据冷热分层维度

提供标准型、低频型、归档型以及冷归档型四种存储类型,满足不同场景的数据存储,了解存储类型详情

  • 数据冗余维度

提供同城区域冗余ZRS、本地冗余LRS类型;ZRS,将数据冗余存放在多个可用区,具备机房级容灾能力;LRS,将数据冗余存放在同一可用区的多个设备,抵御硬盘/存储服务器级故障。

数据保护与安全

支持多冗余的可靠架构、完整性校验、权限控制、加密、日志审计、数据合规等,提供更可靠、更安全、更合规的对象存储

数据可靠

多重冗余分布式架构,有效应对各类硬件故障,消除单点隐患,提供最大12个9的数据持久性设计

完整性校验

存储和读取数据时,对网络流量计算CRC64校验和,检测数据包是否损坏,确保数据完整性

完善的权限控制

提供RAM、ACL、BucketPolicy、URL签名等多种访问控制机制,支持Bucket、Object、API级细粒度授权

网络访问安全防护

支持防盗链,支持通过BucketPolicy设置IP黑白名单或限制只能Https访问

数据加密

提供服务端加密、客户端加密的多种数据加密选项

日志审计

支持将OSS访问记录,按小时导出成日志文件,用于分析与审计;支持实时日志查询,结合日志服务,分钟级日志推送,秒级查询与可视化分析

数据合规

OSS支持WORM策略(一次写入,多次读取), 保护周期内,任何人都不能对文件进行修改和删除,满足行业合规要求。同时,阿里云通过国内外多项认证,率先将众多的合规控制点,融入云平台内控管理和产品设计中了解更多详情。

企业级数据管理

支持生命周期、回源、更丰富的数据上传与下载方式、事件通知、回调等,提供更简单易用、更便于管理的对象存储

生命周期

可定义数据的生命周期,将符合规则的对象转换存储类型或过期清除

镜像回源

支持配置用户源站,当访问数据不在OSS时,OSS会从源站拉取并写入OSS

文件上传

支持PutObject、PostObject、MultipartUpload、AppendObject方式。其中,Append上传的文件,支持在文件末尾追加内容

文件下载

支持简单下载、断点续传下载,其中断点续传下载,可设置从Object指定的位置开始下载

云监控

对接云监控,支持OSS基础服务指标、性能指标和计量指标的监控

事件通知

支持事件通知,OSS上Object相关操作可触发事件通知,用户可设置触发器,以执行各种操作

实时日志

支持导出访问日志到用户Bucket,也可结合日志服务,对OSS访问记录实时查询、可视化分析,满足企业运维审计、业务分析等需求

数据处理能力

支持图片、文档、视频、CSV等数据的常用处理和分析能力,提供更智能的对象存储

图片处理

支持jpg、png、bmp、gif、webp、tiff等格式的转换,以及缩略图、剪裁、水印、缩放等多种操作

视频截帧

支持截取出视频中的指定位置生成图片,完成视频截帧

文档预览

支持对ppt、xls、doc、pdf 等格式文档进行在线预览

标签识别

支持图片场景标签识别,如交通工具、电子产品、常用物品、饮食等,支持分层标签

人脸识别

支持图片中多张人脸的位置与属性检测,如性别、年龄、情绪、头部姿势、眼睛状态、模糊度等

OSS Select

支持通过SQL选取CSV、JSON文件内容,而无需下载整个文件再分析,可为大数据应用提速

数据生态丰富

支持对接开源生态、阿里云丰富的计算产品、数据管理产品,帮助客户释放数据更大的业务价值

开源生态

中国首家被Hadoop官方社区支持的云存储,可对接丰富的开源生态。用户可通过Logstash、Flume将日志投递到OSS,可在Hadoop、Spark、Hive、Impala、Flink、Presto中访问OSS,通过计算存储分离架构,将温数据、冷数据存储在OSS。

计算产品对接

OSS无缝对接阿里云日志服务、EMR、DataLakeAnalytics、函数计算、批量计算、MaxCompute,满足用户日志投递、离线处理、交互式查询、Severless触发计算、批量计算等场景需求。

数据管理生态

支持通过阿里云DBS,将各类数据库备份到OSS;通过数据集成,将数据导入到OSS;通过阿里云混合云存储阵列结合云上OSS,可实现本地和云端存储空间的无缝结合。

大规模数据迁移

支持PB级的在线、离线迁移方案,完成中国互联网首个单客户百PB级数据的迁移上云案例,提供更安全、更快速海量数据迁移上云方案

离线数据迁移

闪电立方可将用户线下数据,安全、高效的迁移到OSS,提供端到端的加密机制,支持TB到PB级数据迁移上云

在线数据迁移

用户可使用阿里云在线数据迁移服务、OSSImport工具,将第三方云存储、自建线下存储等各类数据,在线迁移到OSS,支持TB至PB级数据迁移到OSS

HDFS数据迁移

通过Hadoop对OSS的支持,用户可以在自建的Hadoop集群或通过阿里云EMR,将HDFS中大规模的数据迁移到OSS

对象存储OSS有哪些技术优势?

对象存储设置之初便是面向网络、海量数据的高可靠、高可用、可弹性扩容的公共服务。

一文熟知阿里云对象存储OSS
设计目标

任意大小数据对象存储

  • 单个对象最大可存48TB
    • Normal (0~5GB)
    • Multipart(0~48.8TB)
    • Appendable(0~5GB)
  • 针对移动场景的调优
    • 断点续传
    • Multipart Part最小可以到100KB
  • Append
    • 满足边写边读

海量存储

  • 可线性扩展
  • 万台单集群

弹性扩容

能够自适应业务数据快速增长,避免出现存储空间被打爆,通过业界领先的资源供应链管理、软件分布式弹性设计,实现 百 EB 级空间、百万亿级对象规模 能力

高可靠性

指在硬盘、服务器、网络等故障情况下,以及火灾、地震、洪水等灾害时,可以有效防止数据丢失,通过跨机机柜、机房、区域的数据冗余,实现了99.9999999999%(12 个 9)的高可靠性

一文熟知阿里云对象存储OSS
  • 同城冗余存储(3AZ),实现 RPO 为 0 的容灾能力。基于遵守 PAXOS 的一致性协议、精妙设计的 AZ 间带宽和时延、以及数据分片的策略,保证了 AZ 故障后的快速切换,零数据丢失。经过蚂蚁主站(支付宝账单、刷脸类业务)、网商银行、淘宝短视频、天猫大屏等的业务打磨,检验了 3AZ 的能力,得到了广泛认可。
  • 跨区域复制2.0,实现 RPO 为秒级~分钟级的容灾能力。新版本的复制,在性能优化、用户隔离、依赖解藕方面,做了针对性设计优化,提高了复制的能力。同时,针对云客户在同城两数据中心场景下,实现 OSS 的桶能够跨两数据中心保存数据的需求,开发了 OSS 双集群同城容灾 特性。

高可用性

指在服务器故障时、光纤挖断时,可自动切换实现业务连续性,通过容错设计,实现了 99.995% 的可用性

安全存储

指数据访问的认证、授权、加密、以及行业法规遵从,支持多项合规认证,比如 KMS 加密、WORM 认证等

一文熟知阿里云对象存储OSS

自动生命管理

支持冷热数据的管理,优化 TCO,提供标准、低频、归档存储,并自动化迁移,优化存储使用成本。

公共服务

  • 多租户
  • 隔离
  • QoS

对象存储OSS有哪些产品优势?

稳定可靠

OSS作为阿里巴巴全集团数据存储的核心基础设施,多年支撑双十一业务高峰,历经高可用与高可靠的严苛考验。OSS的多重冗余架构设计,为数据持久存储提供可靠保障。同时,OSS基于高可用架构设计,消除单节故障,确保数据业务的持续性。

一文熟知阿里云对象存储OSS

安全合规

支持服务端加密、客户端加密、防盗链、IP黑白名单、细粒度权限管控、日志审计、WORM特性,并获得多项合规认证,包括SEC、FINRA等,满足企业数据安全与合规要求。

一文熟知阿里云对象存储OSS

智能存储

提供多种数据处理能力,如图片处理、视频截帧、文档预览、图片场景识别、人脸识别、SQL就地查询等,并无缝对接Hadoop生态、以及阿里云函数计算、EMR、DataLakeAnalytics、BatchCompute、MaxCompute、DBS等产品,满足企业数据分析与管理的需求。

一文熟知阿里云对象存储OSS

数据分层

提供标准、低频、归档以及冷归档多种类型,通过生命周期自动化实现数据类型转换与过期管理,覆盖从热到冷多种存储场景。

一文熟知阿里云对象存储OSS

方便易用

提供RESTFul API、控制台、多种开发语言的SDK、命令行工具、图形化工具等多种使用方式,可以随时随地通过网络管理数据。

一文熟知阿里云对象存储OSS

弹性扩容

支持按量付费模式,按实际使用量付费,无需提前一次性投入。同时,自动弹性扩展,不限用户存储的容量和文件数目,满足EB级海量存储需求。

一文熟知阿里云对象存储OSS

对象存储OSS有哪些基本概念?

存储空间(Bucket)

用于存储对象(Object)的容器,同一个存储空间的内部是扁平的,没有文件系统的目录等概念,所有的对象都必须隶属于某个存储空间。存储空间具有各种配置属性,包括地域、访问权限、存储类型等。可根据实际需求,创建不同存储空间存储不同数据。

对象/文件(Object)

是 OSS 存储数据的基本单元,也被称为 OSS 的文件。对象由元信息(Object Meta)、用户数据(Data)和文件名(Key)组成。对象由存储空间内部唯一的 Key 来标识。对象元信息是一组键值对,表示了对象的一些属性,比如最后修改时间、大小等信息,支持在元信息中存储一些自定义的信息。对象的生命周期是从上传成功到被删除为止。

一文熟知阿里云对象存储OSS
存储空间(Bucket)与 对象/文件(Object)间关系

对象存储类型

OSS 提供标准、低频访问、归档、冷归档四种存储类型,全面覆盖从热到冷的各种数据存储场景,四种存储类型适用场景及特征对比如下表:

一文熟知阿里云对象存储OSS

地域(Region)

表示 OSS 的数据中心所在物理位置,是在创建 Bucket 的时候指定的,一旦指定之后就不允许更改,可根据费用、请求来源等选择合适的地域创建 Bucket

访问域名(Endpoint)

表示 OSS 对外服务的访问域名。OSS 以 HTTP RESTful API 的形式对外提供服务,当访问不同地域的时候,需要不同的域名。通过内网和外网访问同一个地域所需要的域名也是不同的

访问密钥(AccessKey,AK)

OSS 通过使用 AccessKeyId 和 AccessKeySecret 对称加密的方法来验证某个请求的发送者身份。AccessKeyId 用于标识用户;AccessKeySecret 是用户用于加密签名字符串和 OSS 用来验证签名字符串的密钥,AccessKey 的来源有:

  • Bucket 的拥有者申请的 AccessKey。
  • 被 Bucket 的拥有者通过 RAM 授权给第三方请求者的 AccessKey。
  • 被 Bucket 的拥有者通过 STS 授权给第三方请求者的 AccessKey。

如何使用对象存储OSS?

OSS 以 HTTP RESTful API 的形式对外提供服务,数据文件以对象(Object)的形式上传到存储空间(Bucket)中,用户可以通过网络随时存储和调用包括文本、图片、音频和视频等在内的各种非结构化数据文件。

通过阿里云OSS控制台

OSS控制台是界面形式的Web应用程序,可以通过阿里云主站登陆后访问,主要用于开通对象存储服务,对存储空间、文件和文件夹执行相关的基础和高级操作,直观易用。

一文熟知阿里云对象存储OSS

通过图形化管理工具 ossbrowser

ossbrowser 是图形化的 OSS 数据管理工具,支持 Windows、Linux、Mac 平台,可以通过图形化界面方便直观地浏览文件、上传下载文件和文件夹(目录)、断点续传、图形化 Policy 授权等操作。

一文熟知阿里云对象存储OSS

通过命令行管理工具 ossutil

ossutil 是以命令行方式管理 OSS 数据的工具,支持 Windows、Linux、Mac 平台。ossutil 提供方便、简洁、丰富的 Bucket 和 Object 管理命令,操作性能好,可并发上传。支持文件和文件夹(目录)上传下载、断点续传等。

一文熟知阿里云对象存储OSS

通过集成SDK

OSS目前提供13种语言的SDK 包,包括Java/Python/PHP/Go/C/C++/.NET/Android/iOS/Node.js/Browser.js/Ruby/Media-C

OSS 的更多高级操作,请参见阿里云 OSS 开发指南。

对象存储OSS是如何计费的?

付费方式

  • 按量付费:按实际使用量*单价的方式计费,每小时统计前一小时的实际用量并从账户余额中扣除实际消费金额。例如当前时间是 9:30,结算的是 8:00-9:00 产生的费用。注意:
    • OSS 提供的所有付费服务都支持按量付费。
    • 因账单系统目前存在延迟,您在 9:30 查看到的可能是 7:00-8:00 的费用账单。
  • 包年包月:预先购买指定资源包,之后使用资源时,扣除相应的额度。一般情况下,包年包月比按量付费更加优惠。资源包目前仅提供标准(LRS)存储包、低频(LRS)存储包、归档(LRS)存储包、标准(ZRS)存储包、低频(ZRS)存储包、下行流量包、 回源流量包、传输加速包,可购买地域请参见购买对象存储 OSS 资源包。注意:
    • 资源包使用无限制,超出资源包额度的部分采用按量付费的方式。

费用组成

OSS 服务费用由存储费用、流量费用、请求费用、数据处理费用、对象标签费用、传输加速费用组成:

一文熟知阿里云对象存储OSS

注意: OSS 的所有收费项目都是单独计费的,例如您在 OSS 的存储空间内存放了 100GB 数据,会产生存储费用;若每天有不同的客户通过外网访问您的数据,则您还会额外产生请求费用和外网流出流量费用。

对象存储OSS有哪些行业实战场景?

图片和音视频等应用的海量多媒体数据存储

OSS可用于图片、音视频、日志等海量文件的存储。各种终端设备、Web网站程序、移动应用可以直接向OSS写入或读取数据。OSS支持流式写入和文件写入两种方式。强大的技术保障为您提供12个9的数据写入可靠性保障,与阿里云 CDN和视频转码无缝结合。

一文熟知阿里云对象存储OSS

网站/应用动静分离

提供更低成本、易扩展的存储服务,特别适合图片、音视频、移动应用的更新、分发场景,可以像文件夹一样管理您网站上的图片,脚本,视频等静态资源,通过BGP网络或者CDN加速的方式,提供用户就近访问、超低延时的数据直接下载,资源弹性伸缩,按需付费,有效降低云服务器负载和运营成本,最大程度提升用户体验。

一文熟知阿里云对象存储OSS

云端数据处理

上传文件到OSS后,可以配合媒体转码服务(MTS),图片处理服务(IMG),批量计算服务、离线数据处理服务(ODPS)充分挖掘您数据的价值,引领从IT到DT的变革。

一文熟知阿里云对象存储OSS

多存储类型

存储分层,成本直降,全面覆盖从有热点存在、频繁访问的各类音视频、图片数据,到低频访问的各类备份数据,再到长期归档的数据。 配合Lifecycle机制,按照配置的时间周期,将数据转储到更低单价的存储类型上,优化存储成本。

一文熟知阿里云对象存储OSS

跨区域容灾

OSS提供跨区域复制功能,用户存储数据可以通过的跨区域复制功能实时同步到指定区域,实现数据异地容灾,从容应对极端灾难保证业务流畅,为重要数据加上多重保险。

一文熟知阿里云对象存储OSS

对象存储OSS的市场地位如何?

云厂商市场份额及排名

根据Canalys 最新发布的《2019年全球云计算基础设施支出调研报告》数据显示,2019年,全球云计算领域市场规模达到1071亿美元,同比大幅增长了37.6%。

亚马逊、微软、谷歌和阿里云占据着全球60%云服务市场份额。其中,亚马逊AWS市场份额为32.3%,排名全球第一;微软Azure市场份额提升至16.9%,排名全球第二;谷歌云市场份额为5%,排名全球第三;阿里云市场份额为4.9%,排名全球第四,亚太第一。

云对象存储产品能力排名

2020年8月,国际知名咨询机构Gartner发布了最新云厂商产品评估报告,在云存储大类中,阿里云存储得分13.7(总分15),排名第二,与排名第一的AWS仅差0.1,阿里云已连续两年入选该报告,也是唯一入选的中国厂商。

在存储 40 条评估细项中,既包括主流的对象存储、块存储和文件存储产品服务能力评估,同时也涵盖数据迁移、跨区域复制、快照生命周期管理及数据加密等高级存储服务能力。阿里云存储在本次评估中的必备能力项目得分赢得大满贯,对象存储OSS 产品能力得分也历史性超越对象存储领域泰山鼻祖 AWS S3,分析师认为,OSS数据强一致性选项, 相比S3的最终一致性,用户业务开发和使用更简单。同时,OSS 可用性 SLA 全球第一,可达 99.995%, 领先 AWS 等云厂商 10~20 倍,让用户的业务更稳定。

关于对象存储OSS的一些感想

Karl Marx说的好,生产力决定生产关系,云计算的概念层出不穷,其本质上还是对生产关系和生产力的配置与优化,OSS作为阿里云四大基础套件之一,亚洲云市场领军者,正以独特的智慧和思考,继往开来承接并演进着下一代对象存储产品的使命。

原创文章,作者:道 谕轩,如若转载,请注明出处:https://xinzt.ren/archives/185

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 2023年7月19日
下一篇 2023年8月13日

相关推荐

分享本页
返回顶部