互联网数据库“跨库分页”架构技术实践 MySQL

互联网数据库“跨库分页”架构技术实践

一、需求缘起 分页需求 互联网很多业务都有分页拉取数据的需求,例如: 微信消息过多时,拉取第N页消息。 京东下单过多时,拉取第N页订单。 浏览58同城,查看第N页帖子。 这些业务场景对应的消息表,订单...
阅读全文
Mysql加锁与实践 MySQL

Mysql加锁与实践

1. 锁分类 innodb中的锁分为S锁,即共享锁,另一种为X锁,排它锁,比如: 共享锁(S) select * from supplier where id=5 lock in share mode...
阅读全文
hadoop中map/reduce数据求平均值实战 hadoop

hadoop中map/reduce数据求平均值实战

说明 对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩,如果有多门学科,则每门学科为一个文件。对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一...
阅读全文
hadoop中map/reduce数据排序实战 hadoop

hadoop中map/reduce数据排序实战

  需求描述 对输入文件中数据进行排序。输入文件中的每行内容均为一个数字,即一个数据。 要求在输出中每行有两个间隔的数字,其中,第一个代表原始数据在原始数据集中的位次,第二个代表原始数据。 ...
阅读全文
hadoop中map/reduce数据去重实战 hadoop

hadoop中map/reduce数据去重实战

说明 数据去重的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。我们自然而然会想到将同一个数据的所有记录都交给一台reduce机器, 无论这个数据出现多少次,只要在最终结果中输出一...
阅读全文
NoSQL的四大种类 存储应用

NoSQL的四大种类

NoSQL数据库在整个数据库领域的江湖地位已经不言而喻。在大数据时代,虽然RDBMS很优秀,但是面对快速增长的数据规模和日渐复杂的数据模型,RDBMS渐渐力不从心,无法应对很多数据库处理任务,这时No...
阅读全文
Linux中使用tcpdump命令 存储应用

Linux中使用tcpdump命令

一般情况下Linux系统会自带tcpdump工具,如果系统没有安装,直接用命令安装就行了。 安装命令:yum install -y tcpdump 查看安装版本命令:tcpdump --help 查看...
阅读全文