[{"_1":2,"_3":-5,"_4":-5},"loaderData",{"_5":6,"_7":8},"actionData","errors","root",{"_11":-5},"routes/user.$name.replies",{"_9":10,"_11":12,"_13":14,"_15":16,"_17":18,"_19":16},"replies",[34],"user",{"_20":21,"_13":14,"_22":23,"_24":14,"_25":26,"_27":28,"_29":30,"_31":16,"_32":33},"loginname","boxiaowpl","page",1,"limit",50,"total","id","35803","avatar_url","https://avatars3.githubusercontent.com/u/28867221?v=4","githubUsername","create_at","2019-01-14 02:31:27.459","score",5,"topic_count",0,"reply_count","is_star",false,{"_20":35,"_36":37,"_38":39,"_40":41,"_42":43,"_44":45,"_46":33,"_47":33,"_31":48,"_49":50,"_25":51,"_52":53},"38707","author_id","25572","tab","share","content","# 一、方案背景\r\n订单系统存在于各行各业，如电商订单、银行流水、运营商话费账单等，是一个非常广泛、通用的系统。对于这类系统，在过去十几年发展中已经形成了经典的做法。但是随着互联网的发展，以及各企业对数据的重视，需要存储和持久化的订单量越来越大。数据的重视程度与数据规模的膨胀带来了新的挑战。\r\n\r\n## 需求场景\r\n某电商平台A，需要进行持久化所有平台产生的订单数据。同时，基于所有的订单数据，系统又需要向外提供面向多种角色：消费者、店家、平台三类人群的多元化的查询服务。消费者可以查询自己的历史订单，商家可以统计热销产品，平台也可以分析用户行为、平台交易规模等。主要查询方式涵盖订单的多维度检索，以及订单数据的分析、统计等，例如：\r\n面向消费者：【A消费者】\\*【近1年】\\*【卖出电脑】订单查询；\r\n面向售货员：【B售货员】\\*【近1个月】销售订单；\r\n......\r\n\r\n## 技术点\r\n在订单场景中，技术上通常需要考虑的技术点，主要包含如下几个方面：\r\n* 查询能力：需要具备丰富的查询类型，如多维度、范围、模糊查询等，同时具备排序、统计等功能；\r\n* 数据量：存储海量数据的同时，满足强一致、高可用、低成本等要求；\r\n* 服务性能：应对高并发请求高并发的同时，保证低延迟；\r\n\r\n实现多维、实时查询功能，是订单管理解决方案的核心功能，官网控制台地址：[项目样例](https://ots.console.aliyun.com/index#/demo/cn-hangzhou/order)\r\n![image.png | left | 747x420](https://cdn.nlark.com/lark/0/2018/png/97467/1540197503215-1a426daf-dfa6-401e-8623-e686b6e2dae0.png \"\")\r\n\r\n\r\n# 二、方案演进\r\n应对订单场景，电商通常会采用MySQL传统方案。借助关系型数据库强大的查询能力，用户可直接通过SQL语句实现订单数据的多维度查询、数据统计等。所谓数据膨胀，分为横向、纵向两种，横向即不断迭代引入的新字段维度，纵向即总的存储数据量。在面对这两种订单数据膨胀上，单MySql方案逐渐变得吃力。 SQL + NoSQL的组合方案（以下称：组合方案）便应运而生，借助两个数据库各自的优势分别解决不同场景各自的需求。但组合方案同样也带来了新的问题，组合方案牺牲空间成本，同时也增加了开发工作量与运维复杂度。在保证数据一致性上产生额外开销。\r\n下面让我们看一下如下几个常规方案：\r\n## 常规方案\r\n### 1、MySql分库分表方案\r\nMySql自身拥有强大的数据查询、分析功能，基于MyQql创建订单系统，可以应对订单数据多维查询、统计场景。伴随着订单数据量的增加，用户会采取分库、分表方案应对，通过这种伪分布式方案，解决数据膨胀带来的问题。但数据一旦达到瓶颈，便需要重新创建更大规模的分库+数据的全量迁移，麻烦就会不断出现。数据迭代、膨胀带来的困扰，是MySql方案难于逾越的。仅仅依靠MySql的传统订单方案短板凸显。\r\n1、数据纵向（数据规模）膨胀：采用分库分表方案，MySql在部署时需要预估分库规模，数据量一旦达到上限后，重新部署并做数据全量迁移；\r\n2、数据横向（字段维度）膨胀：schema需预定义，迭代新增新字段变更复杂。而维度到达一定量后影响数据库性能；\r\n\r\n### 2、MySql+HBase方案\r\n引入双数据的方案应运而生，通过实时数据、历史数据分存的方案，可以一定程度解决数据量膨胀问题。该方案将数据归类成两部分存储：实时数据、历史数据。同时通过数据同步服务，将过期数据同步至历史数据。\r\n1、实时订单数据（例如：近3个月的订单）：将实时订单存入MySql数据库。实时订单的总量膨胀的速度得到了限制，同时保证了实时数据的多维查询、分析能力；\r\n2、历史订单数据（例如：3个月以前的订单）：将历史订单数据存入HBase，借助于HBase这一分布式NoSql数据库，有效应对了订单数据膨胀困扰。也保证了历史订单数据的持久化；\r\n但是，该方案牺牲了历史订单数据对用户、商家、平台的使用价值，假设了历史数据的需求频率极低。但是一旦有需求，便需要全表扫描，查询速度慢、IO成本很高。而维护数据同步又带来了数据一致性、同步运维成本飙升等难题；\r\n\r\n### 3、MySql+Elasticsearch方案\r\n组合方案还有MySql+Elasticsearch，该方案同样是将数据分两部分存储，可以一定程度解决订单索引维度增长问题。用户自己维护数据同步服务，保证两部分数据的一致性；\r\n1、全量数据：将全量的订单数据存入MySql数据库，订单ID之外的数据整体存为一个字段。该全量数据作为持久化存储，也用于非索引字段的反查；\r\n2、查询数据：仅将需要检索的字段存入Elasticsearch（基于Lucene分布式索引数据库），借助于>Elasticsearch的索引能力，提供可以应付维度膨胀的订单数据，然后必要时反查MySql获取订单完整信息；\r\n该方案应付了数据维度膨胀带来的困扰，但是随着订单量的不断膨胀，MySql扩展性差的问题再次暴露出来。同时数据同步至Elasticsearch的方案，开发、运维成本很高，方案选择也存在弊端。\r\n\r\n\r\n| 能力分析 | MySql | HBase | Elasticsearch | TableStore |\r\n| :--- | :--- | :--- | :--- | :--- |\r\n| 存储方式 | 行存储 | 列存储 | 索引存储 | 列存储+索引存储 |\r\n| 扩展性 | 单机、扩展性差 | 水平扩展 | 水平扩展 | （自动）水平扩展 |\r\n| 一致性 | 强一致性 | 强一致性、时序一致性 | | 强一致性、时序一致性 |\r\n| 检索 | 较弱的支持 | 不支持 | 支持 | 支持 |\r\n| 数据量 | ~ 1T，~亿行 | ~10 PB，~万亿行 | ~1 PB，~千亿行 | ~10 PB，~万亿行 |\r\n\r\n\r\n## 表格存储（TableStore）方案\r\n如果使用表格存储（TableStore）研发的多元索引（SearchIndex）方案，则可以完美地解决亿量级订单系统问题。TableStore具有即开即用，按量收费等特点。多元索引随时创建，是海量电商订单元数据管理的优质方案。\r\nTableStore作为阿里云提供的一款全托管、分布式NoSql型数据存储服务，具有【海量数据存储】、【热点数据自动分片】、【海量数据多维检索】等功能，天然地解决了订单数据大爆炸这一挑战；\r\n同时，SearchIndex功能在保证用户数据高可用的基础上，提供了数据多维度搜索、统计等能力。针对多种场景创建多种索引，实现多种模式的检索。用户可以仅在需要的时候创建、开通索引。由TableStore来保证数据同步的一致性，这极大的降低了用户的方案设计、服务运维、代码开发等工作量。\r\n\r\n### 基于表格存储搭建的订单系统页面一览\r\n样例内嵌在表格存储控制台中，用户可登录控制台体验系统（若为表格存储的新用户，需要点击开通服务后体验，开通免费，订单数据存储在公共实例中，体验不消耗用户存储、流量、Cu）。\r\n__注：该样例提供了【亿量级】订单数据。官网控制台地址：__[项目样例](https://ots.console.aliyun.com/index#/demo/cn-hangzhou/order)\r\n\r\n![testRecord](https://yqfile.alicdn.com/01df85ba45158cf32b5254759dd6a128847d2984.gif)\r\n\r\n\r\n\r\n\r\n# 二、搭建准备\r\n若您对于亿量级订单系统的体验不错，希望开始自己系统的搭建之旅，只需按照如下步骤便可以着手搭建了：\r\n## 1、开通表格存储\r\n通过控制台开通表格存储服务，表格存储即开即用（后付费），采用按量付费方式，已为用户提供足够功能测试的免费额度。\r\n[表格存储官网控制台](https://ots.console.aliyun.com)、[免费额度说明](https://help.aliyun.com/document_detail/52733.html)。\r\n\r\n## 2、创建实例\r\n通过控制台创建表格存储实例，选择支持多元索引的Region。（当前阶段SearchIndex功能尚未商业化，暂时开放北京、上海、深圳、杭州四地，后续逐渐开放）\r\n\r\n![image.png | left | 747x240](https://cdn.nlark.com/lark/0/2018/png/97467/1539915875520-18e33218-3d60-4b3a-8ff9-05ced52aab73.png \"\")\r\n\r\n创建实例后，提交工单申请多元索引功能邀测（商业化后默认打开，不使用不收费）。\r\n* 邀测地址：[提工单](https://workorder.console.aliyun.com/console.htm#/ticket/add?productCode=ots&commonQuestionId=1402&isSmart=true)，选择【表格存储】>【产品功能、特性咨询】>【创建工单】，申请内容如下：\r\n* 问题描述:请填写【申请SearchIndex邀测】\r\n* 机密信息:请填写【地域+实例名】，例：上海+myInstanceName\r\n\r\n\r\n![image.png | left | 747x277](https://cdn.nlark.com/lark/0/2018/png/97467/1539915294761-f6527b3e-3a87-47a8-a5ee-abe07cae3fc1.png \"\")\r\n\r\n\r\n## 3、SDK下载\r\n使用具有多元索引（SearchIndex）的SDK，[官网地址](https://help.aliyun.com/document_detail/86528.html)，暂时java、go、node.js、C#四种SDK增加了新功能\r\n#### java-SDK\r\n```xml\r\n\r\n com.aliyun.openservices\r\n tablestore\r\n 4.8.0\r\n\r\n```\r\n#### go-SDK\r\n```bash\r\n$ go get github.com/aliyun/aliyun-tablestore-go-sdk\r\n```\r\n#### Nodejs-SDK\r\n```bash\r\n$ npm install tablestore@4.1.0\r\n```\r\n#### C#\r\n```cmd\r\n$ Install-Package Aliyun.TableStore.SDK -Version 4.1.0\r\n```\r\n\r\n## 4、表设计\r\n订单系统不仅仅是订单一张数据表，它应包含：消费者表、售货员表、产品表、供货商表、交易订单表、支付订单表等。在本样例中，主要使用最基本的四张表（消费者表、售货员表、产品表、交易订单表），仅以订单表举例如下：\r\n表名：order_contract\r\n\r\n| 列名 | 数据类型 | 索引类型 | 字段说明 |\r\n| :--- | :--- | :--- | :--- |\r\n| _id(主键列) | String | | MD5(oId)避免热点 |\r\n| oId | String | KEYWORD | 订单编号 |\r\n| pName | String | TEXT | 产品名，TEXT类型索引可模糊查询，但不能排序 |\r\n| totalPrice | double | DOUBLE | 订单总价 |\r\n| orderTime | long | LONG | 下单时间（时间戳） |\r\n| ... | ... | ... | ... |\r\n\r\n# 三、开始搭建（核心代码）\r\n## 1、创建数据表\r\n四张表：订单表、消费者表、售货员表、产品表\r\n用户仅需维护一个实例，按如下方式创建：通过控制台创建、管理数据表（用户也可以通过SDK直接创建）：\r\n\r\n\r\n![image.png | left | 747x307](https://cdn.nlark.com/lark/0/2018/png/97467/1539916336871-9c35a812-fb84-4659-ab94-91699cdeac25.png \"\")\r\n\r\n\r\n2、创建数据表索引\r\nTableStore自动做全量、增量的索引数据同步：用户可以通过控制台创建、管理SearchIndex（用户也可通过SDK创建）：\r\n\r\n\r\n![image.png | left | 747x362](https://cdn.nlark.com/lark/0/2018/png/97467/1539916491962-0e023aad-2e93-47c3-a42d-22b2a33952cf.png \"\")\r\n\r\n\r\n## 3、数据导入\r\n插入部分测试数据（控制台样例中插入了1亿条数据，用户自己可以通过控制台插入少量测试数据）；\r\n\r\n| 订单号 | 订单（md5）（主键） | 消费者编号 | 消费者姓名 | 售货员编号 | 售货员姓名 | 产品编号 | 产品名 | 产品品牌 | 产品类型 | 下单时间 | 支付时间 | 支付状态 | 产品单价 | 数量 | 总价钱 |\r\n| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |\r\n| o0000000000 | c49f5fd5aba33159accae0d3ecd749a7 | c0019 | 消陈九 | s0020 | 售楚十 | p0003004 | vivo x21 | vivo | 手机 | 2018-07-17 21:00:00 | | 否 | 2498.99 | 2 | 4997.98 |\r\n\r\n\r\n| 消费者编号（主键） | 消费者姓名 | 消费者积分 | 注册时间 |\r\n| :--- | :--- | :--- | :--- |\r\n| c0001 | 消赵一 | 818 | 2018-07-07 14:33:51 |\r\n\r\n\r\n| 售货员编号（主键） | 售货员姓名 | 售货员积分 | 入职日期 |\r\n| :--- | :--- | :--- | :--- |\r\n| s0001 | 售赵一 | 613 | 2018-07-07 14:27:59 |\r\n\r\n\r\n| 产品编号（主键） | 产品名 | 产品品牌 | 产品类型 | 产品单价 | 新增时间 |\r\n| :--- | :--- | :--- | :--- | :--- | :--- |\r\n| p0001001 | iphone 6 | 苹果 | 手机 | 6969.00 | 2018-07-07 14:44:39 |\r\n\r\n\r\n## 4、数据读取\r\n数据读取分为两类：\r\n### 主键读取\r\n基于原生表格存储的主键列获取：getRow, getRange, batchGetRow等。主键读取用于索引（自动）反查，用户也可以提供主键（订单md5）的单条查询的页面，亿量级下查询速度极快。单主键查询方式不支持多维度检索；\r\n\r\n### 索引读取\r\n基于新SearchIndex功能Query：search接口。用户可以自由设计索引字段的多维度条件组合查询。通过设置选择不同的查询参数，构建不同的查询条件、不同排序方式；目前支持：精确查询、范围查询、前缀查询、匹配查询、通配符查询、短语匹配查询、分词字符串查询，并通过布尔与、或组合。\r\n如【c0001号消费者，且消费在99.99以上的订单】组合方式如下：\r\n#### Node.js代码\r\n```node\r\nclient.search({\r\n tableName: TABLE_NAME,\r\n indexName: INDEX_NAME,\r\n searchQuery: {\r\n offset: 0,\r\n limit: 10, \r\n query: {\r\n queryType: TableStore.QueryType.BOOL_QUERY,\r\n query: {\r\n mustQueries: [ \r\n { //查询条件一：TermQuery，cId这一列的值要匹配\"c0001\"\r\n queryType: TableStore.QueryType.TERM_QUERY,\r\n query: {\r\n fieldName: \"cId\",\r\n term: \"c0001\"\r\n }\r\n },\r\n { //查询条件二：RangeQuery，totalPrice这一列的值要大于99.99\r\n queryType: TableStore.QueryType.RANGE_QUERY,\r\n query: {\r\n fieldName: \"totalPrice\",\r\n rangeFrom: 99.99,\r\n }\r\n },\r\n ],\r\n }\r\n },\r\n getTotalCount: true\r\n },\r\n columnToGet: {\r\n returnType: TableStore.ColumnReturnType.RETURN_ALL\r\n }\r\n}, callback);\r\n```\r\n#### Java代码\r\n```java\r\nList mustQueries = new ArrayList();\r\n\r\nTermQuery termQuery = new TermQuery();\r\ntermQuery.setFieldName(\"cId\");\r\ntermQuery.setTerm(ColumnValue.fromString(\"c0001\"));\r\nmustQueries.add(termQuery);\r\n\r\nRangeQuery rangeQuery = new RangeQuery();\r\nrangeQuery.setFieldName(\"totalPrice\");\r\nrangeQuery.setFrom(ColumnValue.fromDouble(99.99)）;\r\nmustQueries.add(rangeQuery);\r\n\r\nBoolQuery boolQuery = new BoolQuery();\r\nboolQuery.setMustQueries(mustQueries);\r\n```\r\n\r\n# 四、欢迎加入\r\n__引自云栖：原文地址：[https://yq.aliyun.com/articles/656196](https://yq.aliyun.com/articles/656196?channel=cnode)\r\n\r\n这样，系统的核心代码已经完成，基于表格存储搭建订单系统，是不是很简单？\r\n对表格存储（TableStore）感兴趣的用户，欢迎加入【表格存储公开交流群】，群号：11789671。\r\n\r\n\r\n![image.png | left | 409x527](https://cdn.nlark.com/lark/0/2018/png/97467/1537322850354-4836eb95-39f4-4f76-ba4c-03aff0735a23.png \"image.png | left | 409x527\")","title","TableStore实战：亿量级订单管理解决方案","last_reply_at","2019-03-11 12:43:06.396","good","top",8,"visit_count",5774,"2019-01-09 13:53:33.212","author",{"_13":54,"_22":55},"wangtantan","https://avatars1.githubusercontent.com/u/16631445?v=4"]