5
9
CAUSE
起因
近期总感觉项目的文件保存有些混乱，一直有关注MinIO，但是从无进行实践，而且有些图片需要一些裁剪，就还得JavaRD去写图像处理，就挺麻烦，无意间看到了Thumbor，发现还挺符合需求，故此有了此篇小总结。最好是使用过云存储的产品哦。这样对MinIO上手就不会有疑问。
MinIO简介
Minio是GlusterFS创始人之一Anand Babu Periasamy发布新的开源项目。Minio兼容Amason的S3分布式对象存储项目，采用Golang实现，客户端支持Java,Python,Javacript, Golang语言。
Minio可以做为云存储的解决方案用来保存海量的图片，视频，文档。由于采用Golang实现，服务端可以工作在Windows,Linux, OS X和FreeBSD上。配置简单，基本是复制可执行程序，单行命令可以运行起来。
Thumbor简介
什么是Thumbor
Thumbor 是一个智能图片服务，它可以对图片进行裁剪、缩放、翻转。
前期环境准备
| 条目 | 版本详细内容 | 备注 |
| 虚拟机系统 | CentOS Linux release 7.9.2009 (Core) | - |
| Python | Python 2.7.5 | Thumbor仅支持Python 2.X Issue说支持到Python 3.6.X使用系统的默认Python版本 |
MinIO安装启动
下载MinIO
[root@localhost ~]# wget http://dl.minio.org.cn/server/minio/release/linux-amd64/minio
启动MinIO
[root@localhost ~]# chmod +x minio
[root@localhost ~]# MINIO_ROOT_USER=xiaoshuai MINIO_ROOT_PASSWORD=xiaoshuai ./minio server /home/minio
Attempting encryption of all config, IAM users and policies on MinIO backend
Endpoint: http://192.168.8.88:9000 http://192.168.122.1:9000 http://127.0.0.1:9000
RootUser: xiaoshuai
RootPass: xiaoshuai
Browser Access:
http://192.168.8.88:9000 http://192.168.122.1:9000 http://127.0.0.1:9000
Command-line Access: https://docs.min.io/docs/minio-client-quickstart-guide
$ mc alias set myminio http://192.168.8.88:9000 xiaoshuai xiaoshuai
Object API (Amazon S3 compatible):
Go: https://docs.min.io/docs/golang-client-quickstart-guide
Java:https://docs.min.io/docs/java-client-quickstart-guide
Python:https://docs.min.io/docs/python-client-quickstart-guide
JavaScript: https://docs.min.io/docs/javascript-client-quickstart-guide
.NET:https://docs.min.io/docs/dotnet-client-quickstart-guide
IAM initialization complete
浏览器访问MinIO
输入启动给定的用户名密码登录即可
注:以上为当前运行启动。后台启动如下命令:
nohup ./minio server /home/minio > /home/minio/minio.log 2>&1 &
MinIO优势
01
高性能
MinIO 是全球领先的对象存储先锋，目前在全世界有数百万的用户. 在标准硬件上，读/写速度上高达 **183 GB / 秒** 和 **171 GB / 秒** 。 对象存储可以充当主存储层，以处理Spark、Presto、TensorFlow、H2O.ai等各种复杂工作负载以及成为Hadoop HDFS的替代品。MinIO用作云原生应用程序的主要存储，与传统对象存储相比，云原生应用程序需要更高的吞吐量和更低的延迟。而这些都是MinIO能够达成的性能指标。
02
可拓展性
MinIO利用了Web缩放器的来之不易的知识，为对象存储带来了简单的缩放模型。这是我们坚定的理念 “简单可扩展.” 在 MinIO, 扩展从单个群集开始，该群集可以与其他MinIO群集联合以创建全局名称空间, 并在需要时可以跨越多个不同的数据中心。通过添加更多集群可以扩展名称空间, 更多机架，直到实现目标。
03
云的原生支持
MinIO 是在过去4年的时间内从0开始打造的一款软件 ，符合一切原生云计算的架构和构建过程，并且包含最新的云计算的全新的技术和概念。其中包括支持Kubernetes 、微服和多租户的的容器技术。使对象存储对于 Kubernetes更加友好。
04
源码开放，企业支持
MinIO 基于Apache V2 license 100% 开放源代码 。这就意味着 MinIO的客户能够自动的、无限制、自由免费使用和集成MinIO、自由的创新和创造、 自由的去修改、自由的再次发行新的版本和软件. 确实, MinIO 强有力的支持和驱动了很多世界500强的企业。此外，其部署的多样性和专业性提供了其他软件无法比拟的优势。
05
与AmazonS3兼容
亚马逊云的 S3 API（接口协议） 是在全球范围内达到共识的对象存储的协议，是全世界内大家都认可的标准。MinIO 在很早的时候就采用了 S3 兼容协议，并且MinIO 是第一个支持 S3 Select 的产品. MinIO对其兼容性的全面性感到自豪， 并且得到了 750多个组织的认同, 包括Microsoft Azure使用MinIO的S3网关 - 这一指标超过其他同类产品的总和。
06
简单
极简主义是MinIO的指导性设计原则。简单性减少了出错的机会，提高了正常运行时间，提供了可靠性，同时简单性又是性能的基础。只需下载一个二进制文件然后执行，即可在几分钟内安装和配置MinIO。 配置选项和变体的数量保持在最低限度，这样让失败的配置概率降低到接近于0的水平。MinIO升级是通过一个简单命令完成的，这个命令可以无中断的完成MinIO的升级，并且不需要停机即可完成升级操作 - 降低总使用和运维成本。
更多内容可以访问官网了解: http://www.minio.org.cn/
Thumbor安装启动
Thumbor下载
pip install thumbor
Thumbor生成配置文件
[root@localhost ~]# thumbor-config > ./thumbor.conf
Thumbor启动
[root@localhost ~]# thumbor --port=7788 --conf=thumbor.conf
使用MinIO上传的图片进行Thumbor裁剪测试
在MinIO上传一张图片，得到访问链接:
原图
使用Thumbor对上面的图片进行缩放到100*100，得到如下访问链接:
http://192.168.8.88:7788/unsafe/100x100/拼接上面的地址
其它缩放、裁剪、滤镜处理操作请查询Thumbor官方文档即可
缩放后图
但是这样好麻烦呀，链接又长，那我们就整合一下MinIo和Thumbor
Thumbor AWS
Thumbor 处理图片很强大，但是只提供了很弱的图片存储功能。其图片上传修改接口没有做验证，所以默认情况下没有开启。但是 Thumbor 有一些社区支持，第三方开发者做了一些扩展。其中 Thumbor AWS 这个扩展可以把 Thumbor 后端跟Amazon S3整合起来。在url上提交图片文件的key，Thumbor的后端会从Amazon S3中取出文件做处理。而之前 MinIO 兼容Amazon S3的Api。所以意味着只需要做一点改动，就可以整合这两个服务。最终就可以达成，利用 MinIO 上传存储图片，利用 Thumbor 取出图片做处理。
安装拓展
pip install tc_aws
Thumbor AWS这个扩展利用Boto3连接Amazon S3的SDK，根据Boto3文档中的配置，我们需要创建 ~/.aws/credentials 这个文件，并且填写刚才MinIO提供的AccessKey和SecretKey，授权这个服务访问 MinIO
credentials文件内容如下
[default]
aws_access_key_id = xiaoshuai
aws_secret_access_key = xiaoshuai
thumbor.conf增加配置
填写minio提供的Region默认即为us-east-1
TC_AWS_REGION='us-east-1'
将默认的AmazonS3地址换成minio运行地址
TC_AWS_ENDPOINT='http://192.168.8.88:9000'
将Thumbor的loader换成tc_aws.loaders.s3_loader
LOADER = 'tc_aws.loaders.s3_loader'
重新启动 Thumbor ，就可以在浏览器中通过 Thumbor 直接访问 MinIO 中的图片了
刚才那张图片。访问地址就可以变为 :
http://192.168.8.88:7788/unsafe/100x100/oss/51.png
只需要 MinIO 的 bucket(存储桶) 名称和图片名称即可
至此整合MinIO
FINISH
Thumbor完成