欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

百万级PV网站最低成本的架构和部署以及大数据量的存储设计与优化

程序员文章站 2022-05-25 15:26:32
...
这个题目好像有点大,涉及的东西好像有点多!
随着市场的发展,现在越来越多的平台都要求具备大访问量、大数据量的高效处理能力 但是具体是什么样的呢?
主要有两大问题:
1、如何解决大访问量的问题,简单之:快、稳定、安全?
2、如何解决如此大的访问量所带来的大量数据的处理和存储?

涉及到:
1、系统
2、硬件

应用场景: 1、购物类 2、社区类

这个问题涉及到的知识比较多,涉及到的经验也会很丰富 我不知道我们这个社区有没有类型的问题,但是我只是希望大家来分享一下自己的经验和想法

回复内容:

这个题目好像有点大,涉及的东西好像有点多!
随着市场的发展,现在越来越多的平台都要求具备大访问量、大数据量的高效处理能力 但是具体是什么样的呢?
主要有两大问题:
1、如何解决大访问量的问题,简单之:快、稳定、安全?
2、如何解决如此大的访问量所带来的大量数据的处理和存储?

涉及到:
1、系统
2、硬件

应用场景: 1、购物类 2、社区类

这个问题涉及到的知识比较多,涉及到的经验也会很丰富 我不知道我们这个社区有没有类型的问题,但是我只是希望大家来分享一下自己的经验和想法

我建议你考虑几个问题

  • 动态请求有什么特点
  • 及时性要求高么
  • 对一致性的要求搞么
  • 对数据丢失能容忍么
  • 消息类的请求多么
  • 读写的比例,读写的各种场景是什么
  • 图片多么,有大量的文件下载么
  • 对安全性要求高么
  • 涉及到金钱的问题么

把这些问题想明白了,再来考虑架构和硬件的问题

请先说明应用场景、需求,否则就很空洞

比如,如果只是服务静态文件,一台破机器足够了

现在完全没有必要自己维护硬件,直接采取成熟的弹性计算PaaS即可,剩下的就是程序的问题了

社区的feed是头疼的事。电商类订单和数据挖掘是最头疼的。 数据的存储现在成本太低廉了,千把块钱,几块NTB的硬盘自建raid。跟机房商量好带宽一切都好说。再不济,咱还有NAS。数据库这块儿可以用SSD,性能杠杠的。 硬件现在都好说,反倒程序、软件该好好研究鸟,数据量上来了,分表;访问量上来了,多服务器就是。不过程序写的2,再好的服务器也是白搭。