Home | 简体中文 | 繁体中文 | 杂文 | 打赏(Donations) | ITEYE 博客 | OSChina 博客 | Facebook | Linkedin | 知乎专栏 | Search | Email

Netkiller Architect 手札

Multi-dimension Architecture Design & Implementation / Full Stack Architect

Mr. Neo Chan, 陈景峯(BG7NYT)


中国广东省深圳市龙华新区民治街道溪山美地
518131
+86 13113668890


文档尚未完成,请勿转载!

版权声明

转载请与作者联系,转载时请务必标明文章原始出处和作者信息及本声明。

文档出处:
http://netkiller.github.io
http://netkiller.sourceforge.net

微信扫描二维码进入 Netkiller 微信订阅号

QQ群:128659835 请注明“读者”

$Date: 2013-02-04 09:33:18 +0800 (Mon, 04 Feb 2013) $


目录

1. 自述
1.1. 系列文档
1.2. 作者简介
1.3. 写给读者
1.4. 文档下载
1.5. 打赏(Donations)
1.5.1. 微信(Wechat)
1.5.2. 支付宝(Alipay)
1.5.3. PayPal Donations
1.5.4. 银行(Bank)
I. Multi-dimension Architecture
1. Architecture Overview
1.1. CDN (Content Delivery Network)
2. Enterprise Architecture
2.1. 仓库管理系统(warehouse management system)
3. Systems architecture(系统架构)
3.1. 集群(Cluster)
3.1.1. 负载均衡
3.1.1.1. DNS负载均衡
3.1.1.2. 软件四层交换负载均衡
3.1.1.3. 应用层负载均衡
3.1.2. 高可用性集群
3.1.3. 负载均衡设备
3.1.4. 会话保持
3.1.5. 健康状态检查
3.2. 缓存技术
3.2.1. 浏览器缓存
3.2.1.1. Expires
3.2.1.2. If-Modified-Since / Last-Modified
3.2.1.3. ETag / If-None-Match
3.2.2. CDN/逆向代理缓存
3.2.3. 负载均衡设备
3.2.4. WEB服务器缓存
3.2.5. 应用程序缓存
3.2.6. 数据库缓存
3.3. 静态化
3.3.1. 生成方式
3.3.2. 抓取方式
3.3.3. 伪静态化
3.3.4. 混合方式
3.3.5. 静态化中的动态内容
3.4. 多媒体数据分离
3.4.1. 图片服务器分离
3.4.2. 目录层次规划
3.4.3. 多域名访问
3.5. 压缩数据传输
3.6. 时间同步
3.7. 邮件系统
3.7.1. Mailing List
3.8. 日志集中管理
3.8.1. 系统日志
3.8.2. 应用程序日志
3.9. SSL
3.10. Storage 存储
3.10.1. 存储种类
3.10.1.1. Direct Attached Storage
3.10.1.2. Network-attached storage
3.10.1.3. Storage area network
3.10.2. RAID
3.10.2.1. 缓存服务器
3.10.2.2. Web 服务器
3.10.2.3. 数据库
3.10.2.4. 数据备份
3.10.3. File System 文件系统
3.10.3.1. Distributed File System(DFS)
3.10.4. 数据访问协议
3.10.5. 数据管理
3.10.5.1. Share 共享
3.10.5.2. Mirror 远程镜像同步
3.10.5.3. 压缩与重复数据消除
3.10.5.4. Backup 备份与恢复
3.10.5.5. 故障报告
II. Database Modeling Design
4. 关系型数据库设计
4.1. 数据字典
4.2. 用户帐号表
4.2.1. 用户注册键盘跟踪表设计
4.3. 分类表设计
4.3.1. 树形分类表
4.3.2. 多对多分类
4.3.3. 快速检索子分类设计
4.3.4. 计算节点数量
4.3.5. Example
4.4. 文章表设计
4.4.1. 分区表设计
4.4.2. Title性能优化
4.5. 评论表
4.6. 记录点击率,阅读次数,及评分表
4.7. 产品属性表
4.7.1. 简单实现
4.7.2. 实现属性组管理
4.7.3. 可编辑属表
4.8. 商品库存表
4.9. 国际化语言表
4.10. Workflow
4.11. 内容版本控制
4.12. logging 日志表的设计
4.13. uuid 替代传统序列 id
4.14. 动态配置表
4.14.1. 配置表历史记录
4.15. 验证码
4.16. 手机归属地数据库表
4.17. 数据检查
4.17.1. 身份证校验
4.18. 创建与修改时间
4.19. 在线用户表
4.20. HTML TO Text
4.21. SNS 数据库设计
4.21.1. people 表
4.21.2. firend 表
4.21.3. 演示
4.21.4. network 表
4.22. PostgreSQL 所特有数据库设计
4.22.1. 国家地区表的设计
4.22.2. 话题讨论表的设计
4.22.3. 账户表/余额表/消费储蓄表
5. 数据库安全
5.1. 保护表
5.2. 保护表字段
5.3. 时间一致性
5.4. 为数据安全而分库
5.5. 内容版本控制,撰改留痕
5.6. 用户/角色认证
5.7. Token 认证
5.8. 数据加密
5.8.1. AES_ENCRYPT / AES_DECRYPT
5.8.2. 加密字段
5.9. 开发加密插件开发
6. Sharding
6.1. horizontal
6.2. vertical
6.3. 新闻数据库分表案例
7. 数据库并行访问控制
7.1. 防止并行显示
8. 数据与应用程序间通信
8.1. 管道通信
8.1.1. 背景
8.1.2. 解决思路
8.1.3. Mysql plugin
8.1.4. plugin 的开发与使用
8.1.5. 插件如何使用
8.1.6. 部署相关问题
8.2. 消息队列
8.2.1. 背景
8.2.2. 应用场景
8.2.3. Mysql plugin
8.2.4. plugin 的开发与使用
8.2.5. 插件如何使用
8.3. 数据库与外界文件
8.3.1. 背景
8.3.2. 解决思路
8.3.3. 解决方案
8.3.4. plugin 的开发与使用
8.3.5. 在事务中使用该插件
8.3.6. 通过触发器调用图片处理函数
8.4. Socket 方式
8.4.1. UDP
9. NoSQL OOD(Object-Oriented Design)
9.1. MongoDB
9.1.1. 配置表 config
9.1.2. 日志表
9.2. Cassandra
9.2.1. User And Profile
9.2.2. Category
9.2.3. Article
9.2.4. Product and ProductAttribute
9.2.5. Address
9.2.6. 练习
10. 数据属性
10.1. 布尔状态
10.2. 流状态
10.3. 商品属性
10.3.1. 鞋
10.3.2. 裤子
10.3.3. 服装
10.3.4. 内衣
10.3.5. 隐形眼镜
10.3.6. 戒指
10.4. 手机号码分配
10.5. 身份证
III. Software architecture (软件架构)
11. Project
11.1. 开源模式
11.2. 开发语言及平台
11.2.1. 分层架构
11.2.2. Web 2.0
11.2.3. 云计算
11.2.4. 跨平台
11.2.5. 编译语言比脚本语言安全
11.2.6. 封装重用
11.2.7. 相关的工具
12. Design pattern (设计模式)
12.1. Singleton 单件模式
13. AOP(Aspect Oriented Programming)
14. Framework Design
14.1. 开发框架 Framework
14.1.1. HMVC
14.1.2. REST
14.1.3. SNA (Shared Nothing Architecture)
14.1.4. 其他
14.2. MVC Framework Design (设计MVC框架)
14.2.1. HMVC Framework
14.3. REST
14.3.1. RESTful JSON API
14.3.2. Ajax 与 RESTful 跨域
14.4. Service-oriented architecture (SOA)
14.4.1. SOAP实现
14.4.2. MQ 实现
14.5. Dispatcher MVC核心分发器
14.5.1. URL设计
14.5.2. Dispatcher 的实现方式
14.6. Plugin & Hook 设计与实现
14.6.1. 插件管理平台
14.6.2. 接口定义
14.6.3. 插件
14.6.4. 测试
14.7. Interface
14.7.1. 访问接口协议
14.7.2. 接口性能问题
14.7.3. 接口安全问题
14.8. Javascript Framework
14.8.1. Minify JS
14.9. 模板(template)
14.9.1. HTML 页面优化
14.10. Session/Cookie
14.10.1. Session
14.10.2. Session 共享
14.10.3. Cookie
14.11. 国际化 Locale database。
14.11.1. Unicode
14.11.2. 繁简转换
14.12. 数据库访问
14.12.1. CRUD
14.12.2. Active Record
14.12.3. OR Mapping
14.13. Cache
14.13.1. 页面缓存
14.13.2. 局部缓存
14.14. Single sign-on (SSO) 单点登录
14.15. 搜索引擎
14.16. Synchronous/Asynchronous
14.17. Message Queuing
14.18. Hash
14.19. Sharding 垂直/水平切割
14.19.1. 面向服务
14.19.2. 面向数据库
14.20. 日志系统
14.21. Cache
14.21.1. CDN (Content Delivery Network) 与反向代理
14.21.2. HTTP Cache
14.21.3. Cache 生存时间
14.22. i18n 国际化
14.22.1. 数组方式
14.22.2. 数据库方式
14.22.3. 文件文件
14.22.4. Gettext
14.22.5. 数据结构
14.23. RSS / ATom
14.23.1. Atom
14.24. Logging 日志
14.24.1. 日志的格式
14.24.2. 日志存贮
14.24.3. Log4cpp/Log4j/Log2PHP
14.24.4. Remote Syslog
14.25. Search
14.25.1. 搜索结果静态化
14.25.2. SEO Module
14.26. debug
14.27. 性能优化
14.27.1. 尽量使用单引号
15. 信息安全
15.1. CSRF(Cross-site request forgery)跨站请求伪造
15.2. Session 撰改演示
15.3. 用户注册与登录安全
15.4. 目录文件与权限
15.4.1. 读写权限
15.4.2. 访问权限
15.5. 密码安全
15.6. 注入检查
15.7. 防止恶意刷新与重复提交
15.8. 屏蔽出错信息
15.8.1. 屏蔽php出错信息
16. 序列化
IV. Testing
17. Automatic Testing
17.1. Cluster Testing
17.2. 静态内容并发测试
17.3. 动态内容测试
17.4. 业务逻辑并发能力
V. 硬件篇
18. 网线怎样连接才合理
18.1. 单个硬件防火墙方案
18.1.1. Switch
18.1.2. Firewall
18.2. 双防火墙方案
19. Network Traffic
19.1. bandwidth
19.1.1. firewall
19.1.2. switch
19.1.3. Server
19.2. Session
19.2.1. firewall
19.2.2. Server
19.2.3. application
19.3. IO
19.3.1. 分布IO
19.3.2. FC SAN
19.3.3. iSCSI / FCoE
19.3.4. InfiniBand 或 RDMA
20. Distributed File System(簇文件系统)
20.1. 聚合文件系统
20.2. 全局文件系统
20.3. 负载均衡文件系统
20.4. 网络块设备
21. Server
21.1. TPC
21.2. IOPS (Input/Output Operations Per Second, pronounced i-ops)
21.3. rPerf
21.4. 磁盘规划
21.4.1. 物理隔离
21.4.2. 硬件逻辑卷隔离
21.5. 网卡
21.5.1. 网口规划
21.5.2. 常见网络适配器品牌
21.5.3. 1G 千兆以太网产品
21.5.4. 10G 万兆以太网产品
21.6. Fibre Channel HBA 卡
21.7. iDRAC / iLO / IMM
VI. 设计与解决方案
22. Monitor solution
22.1. 网络监控
22.1.1. 流量监控
22.1.2. 交换机监控
22.2. 集群监控
22.3. 服务器状态监控
22.3.1. 负载监控
22.3.2. 磁盘空间监控
22.3.3. 内存监控
22.3.4. CPU监控
22.4. MySQL 监控
22.5. 网站安全与预警机制
23. Backup
23.1. help
23.1.1. Task
23.1.2. Schedule
23.1.3. Crontab
23.2. 配置文件备份
23.2.1. Firewall and Switch
23.2.2. Server
24. 支付平台方案
24.1. 方案
24.1.1. 商户方案
24.1.2. 银行方案
24.2. 支付接口
24.3. 支付派台后台
25. 电子商务网站
25.1. Product
25.2. Cart & Checkout
25.2.1. 物流配送插件设计
25.3. 促销优惠组件设计
26. 微信公众平台
26.1. 微信公众平台原理
26.2. 微信公众平台通常提供的服务模式
26.3. 微信公众平台开发
27. DIY Firewall & VPN
27.1. Firewall
27.2. 3 Layer VPN
27.3. 7 Layer VPN
28. 日志
29. Web Service Security
29.1. 权限控制与实现
29.2. 演示
29.3. 增加7 Layer防火墙
1. 附录
术语表

表格清单

7.1. 工作流模拟

范例清单

4.1. identity_card 身份证归属地表
4.2. 递归查询实例 city 表
4.3. 话题讨论表的设计
8.1. 发送短信
8.2. 处理图片
8.3. 身份证号码校验
8.4. 静态化案例
8.5. 数据同步案例
14.1. php language package
14.2. sql table language package
14.3. example robots.txt
15.1. Example for ECSHOP
23.1. Backup program
修订历史
修订 0.1.1Sep 12, 2011Neo
章节做了大调整,将文档分为五块,多维度架构,开发,运维,SQA,还有DevOps。
修订 0.1.0May 15, 2010Neo
增加解决方案一节,并填充了大量章节。同时对完成这篇文档信心大增
修订 0.0.42010Neo
这篇文档几乎没有时间和精力编辑,内容增加不多。
修订 0.0.4April 15, 2009Neo
这篇文档几乎搁浅,没有时间和精力,没有编辑加入。今天做了一下布局调整,增加一些内容。
修订 0.0.3Sep. 17, 2008Neo
加入关于存储的内容
修订 0.0.1May 24, 2008Neo
李振韬加入编译团队
修订 0.0.0May 22, 2008Neo
这是一个值得纪念的日子