ES学习文档 最权威的，当然就是官方文档，根据自己所安装的版本进行选择：elasticsearch所有版本参考文档 如果英文文档阅读有困难，参考：Elasticsearch: 权威指南，但是中文文档有滞后性，比如目前es已经到6.X版本，而中文文档以2.X版本为基础，因此对于新版本的话会有部分不适用。 参考博客：铭毅天下 使用阿里云 elasticsearch 使用阿里云 elasticsearch服务，就可以不用再自己安装elasticsearch，购买后即可立即使用，方便快捷。 如果使用java客户端进行访问会有限制： 具体请参考：阿里云elasticsearch介绍 elasticsearch插件 head插件 通 …

吴林、黄伟 近日，华为云自研关系型数据库 Taurus 公开亮相。作为华为云自研的最新一代云原生分布式数据库，Taurus 完全兼容 MySQL 8.0，采用计算与存储分离、日志即数据的架构设计，支持 1 写 15 读，性能达到原生 MySQL 的 7 倍。 过去多年，数据库技术本质上并没有出现颠覆式发展。作为核心基础设施，数据库是一款用户粘性非常高的产品，一旦核心业务数据落定，企业轻易不会尝试更换，因此很长一段时间内，大众习惯于老牌 IT 厂商垄断数据库市场的状况。然而，云厂商涉足数据库领域的消息近年层出不穷，比如 AWS Aurora、阿里云 PolarDB 以及华为云 Taurus。 在互联网、移动和物联网等新场景之下，图 …

本文由云+社区发表 作者：磊哥 上期文章我们聊到了redis。这期我们来说说另一个网红nosql数据库：MongoDB。有这么一个介绍MongoDB的说法是：MongoDB是非关系数据库当中功能最丰富，最像关系数据库的。这么说是因为作为一个面向文档存储型、数据结构非常松散自由的的数据库，却拥有着丰富的功能特性如强大灵活的查询语言、支持二级索引等特性，新版本的MongDB甚至还支持事务。听小伙伴说MongoDB不仅功能丰富，而且读性能强大到远远把MySQL甩在后面，今天我就代替大家来动手进行一下数据库测试，揭开MongoDB的神秘“面纱”。 为了进行数据库对比测试，这次我购买了腾讯云MongoDB的主从版（1主2从），同时在同样配置 …

作为数字世界的数据承载平台，数据库技术从最早的传统封闭式数据库，到互联网时代的开源数据库兴起，它已经历了2次大的架构变迁。如今，随着云的广泛和深入应用，数据库开始了它的第3次变迁——云原生数据库崛起。 按照Gartner的预测，到2023年，世界上四分之三的数据库都会跑在云上。这样的预测结论不难理解，因为未来的IT部署属于云，一系列核心业务系统的上云，必将推动关键数据库上云进程。由于云原生数据库具备天然的云计算弹性能力，加之开放、易管理等特性，必将形成新的主流。 在这其中，不得不提非关系型数据库NoSQL，虽然不敌关系数据库SQL的市场份额，但以擅长海量多样化数据管理、处理非结构化数据的它，开始得到广泛关注与应用，大有后来居上之势。 …

转载：[盘古：阿里云飞天分布式存储系统设计深度解析](https://yq.aliyun.com/articles/64374) 盘古是什么？ 上图列举了目前主流的云计算厂商，我们发现一个很有趣的事情：所有云计算厂商都是“富二代”，它们的分布式存储技术全部采用自研技术，而没有用大家耳熟能详的开源分布式系统。 飞天梦 第一代飞天人的梦想是在大量廉价的PC服务器上，对外提供各种计算和存储服务。具体到以下几个组件：夸父，主要负责网络；女娲，主要负责协同；伏羲，主要负责调度；盘古，主要负责存储；神农，主要负责监控。 上图介绍了盘古的底层存储平台，其承担承上启下的作用。盘古作为分布式存储系统，主要提供两种类型的接口：Append Only接 …

笔者做过的一个项目中，同时用到了Elasticsearch和Tidb两种存储相关的产品。这两者适用的场景有些差异，但其实又有交集。前者偏向搜索，后者则主打分布式存储。下面根据自己的理解从不同维度分析下二者的相同点和不同点。 对比维度 Elasticsearch TiDB 产地 公司现在的名称是Elastic， 其实它的员工遍布世界各地，一般认为公司的总部是阿姆斯特丹 公司是PinCap，在北京，是国内的公司。 版本历史 最初其实不叫ES，源于作者做的菜谱的应用。作者Shay Banon在2010年2月发布了Elasticsearch的第一个版本 。目前最新的版本是7.6 2017年10月发布第一个版本，目前的稳定版本是3.0.0。正 …

因为发现阿里云有提供免费两年(2015年)的虚拟主机服务，一直有做个个人网站的想法，所以就去注册申请了一个，原本以为申请好了就可以直接做网站，没想到还要做好多准备工作，拖拉了一个多月，才整好网站雏形，排除个人因素（就是懒）之外，其中最花时间的就是网站备案了。 原则上服务器在中国大陆境内的网站都需要做备案，没备案的域名是无法访问的，所以一般技术宅都会选择翻墙去外面的世界看看，或者申请一些香港的主机，这些暂且不变，貌似香港和国外的主机访问都会比较慢，况且我们三好公民没必要去瞎折腾，还是老老实实走流程好了。 （以下是个人网站备案亲测流程） 1、首先要有一个自己的域名和主机 域名买买买，主机买买买，偶尔各大网络服务商是会搞活动有一些优惠，建 …

目前移动端运营素材大部分依赖图片，基于对图片流量更少，渲染速度更快的诉求，我们推动CDN，X5内核，即通产品部共同推出了一套业务透明，无痛接入的CDN图片优化方案：基于CDN的sharpP自适应图片无痛接入方案。据统计效果可在原图基础上节省60%-75%的流量，比之前webP无痛接入方案效果提升40%-50%，减少流量的同时提高页面渲染速度，提升用户体验。 效果数据 目前手Q增值业务：VIP中心、游戏中心、动漫、游戏公会、特别关心 以及增值渠道的QQ钱包，空间的个性化商城已经接入sharpP自适应，优化效果数据： sharpP自适应方案在原有webP自适应方案效果提升40%-50%，提升效果主要来自sharpP高于webP的编码压缩 …

在国内公有云市场份额排第二的腾讯云，面临着前所未有的危机。“前沿数控技术新媒体”8月5日晚间发微博称，在使用腾讯云8个月后，公司存储在腾讯云上的数据无可挽回地全部丢失。 腾讯云8月6日通过微信公众号回应称，腾讯云提出了返还前沿数控技术3569元实际消耗、提供13.29万元现金或云资源额外补偿的方案，而前沿数控技术提出了1101.60万元的赔偿额。 丢失的数据 前沿数控技术背后是一家名为“北京清博数控科技有限公司”的创业公司。2014年这家公司注册微信公众号“前沿数控技术”，定位于数控、模具、机械行业。 前沿数控技术在微博中表示，在业务量的需求下，公司使用了腾讯云，可“灾难”发生在2018年7月20日。接下来的两天，腾讯云组织了技术专 …

在10月19日的云栖社区在线培训上，来自盘古团队的吴洋分享了《盘古：飞天分布式存储系统实践》。他主要从以下三个方面进行了分享：盘古是什么？盘古是用来解决什么问题的？盘古是怎么解决问题的？他主要介绍了盘古的分布式系统架构和设计理念。 回顾视频：https://yq.aliyun.com/edu/lesson/play/392 本次视频直播的整理文章整理完毕，如下内容。 盘古是什么？ 上图列举了目前主流的云计算厂商，我们发现一个很有趣的事情：所有云计算厂商都是“富二代”，它们的分布式存储技术全部采用自研技术，而没有用大家耳熟能详的开源分布式系统。 飞天梦 第一代飞天人的梦想是在大量廉价的PC服务器上，对外提供各种计算和存储服务。具体到 …

简而言之：匪夷所思。 在腾讯云硬盘的官网上多次提到了多机备份，以下为文档原话： 在每个存储写入请求返回给用户之前，CBS 就已确保数据已被成功写入三份，且跨机架存储 其教学视频也明确指出了多机备份属性。 事后腾讯解释数据丢失是因为一个罕见的硬件固件bug。硬件问题本身并没有什么特别的，这在大的数据中心是常态而非异常。但问题是三台机器硬件同时触发了bug造成数据全部丢失。 同一个硬件bug搞丢了三台机子上的数据，这可能是2018年最锲而不舍的bug了。 如果腾讯云本身没有宣传有多机备份，那么这家创业公司自己不做备份完全是自己的问题。现在腾讯云在官网上反复宣传强调了多机备份，企业自己不做备份也可以理解(尤其这家公司并不是软件互联网公 …

阿里云EMR（Elastic MapReduce）是一项 Web 服务，简化了大数据处理，提供的大数据框架可以让您轻松、高速、经济、安全、稳定地处理大数据，满足如日志分析、数据仓库、商业智能、机器学习、科学模拟等业务需求。 一. 最佳实践 1. 混合使用包年及按需计费，节约成本 数据都存在热、冷的差异。一般建议把冷数据存放在OSS中，热数据放在本地HDFS中。晚上00:00-06:00按需运行，运行完成后释放集群，节约成本。晚上ECS水位低，比较容易申请到大集群。 2. 离线处理-用户行为分析 服务端会把这些信息存储在OSS中，再启动E-MapReduce中的Hive脚本分析这些数据，如：统计pv和uv，再把每个链 …