​
## 1、什么是中间件以及中间件的工作原理

 
中间件事一个镶嵌到django的request/response处理机制中的一个钩子框架。它是一个可以修改django全局输入和输出的一个底层插件系统。



换句话说

HTTP Web服务器工作原理一般都是接受用户发来的请求（request），然后给出响应（resonse）。Django也不例外，其一般工作方式是接受request对象和其他参数，交由视图(view)处理，然后给出它的响应数据：渲染过的html文件或json格式的数据。

然而在实际工作中并不是接收到request对象后，马上交给殊途函数或类处理，也不是在view执行后立马给用户返回response。

事实上，Django最初接受的是HttpRequest对象，而不是request对象，正是中间件的作用把HttpRequest对象和user对象打包成了一个全局变量request对象，这样你才可以view中使用request作为变量或者在模版中随意调用request.user

>中间件在整个django的request/response处理机制中的角色如下所示：

>HttpRequest —— Middleware  —— View  —— Middleware  ——  HttpResponse

正是由于一个请求HttpRequest在传递给视图view处理前要经过中间件处理，经过View处理后的响应也要经过中间件处理才能返回给用户，我们可以编写自己的中间件实现权限校验，限制用户请求、打印日志、改变输出内容等多种应用场景，比如：

* 禁止特定IP地址的用户或未登录的用户访问我们的view视图函数
* 对同一IP地址单位时间内发送的请求数量做出限制
* 在View视图函数执行前记录用户的IP地址
* 在View视图函数执行前传递额外的变量或参数
* 在View视图函数执行前或执行后把特定信息打印到log日志
* 在View视图函数执行后对response数据进行修改后返回给用户

值得一提的是中间件对django的输入或输出的改变是全局的，反之亦然，如果让你希望对django的输入或输出做出全局性的改变时，需要使用中间件。

举个例子：用@login_required装饰器要求用户必须先登陆才能访问我们的视图函数。试想我们有个网站绝大部分视图函数都需要用户登陆，每个视图函数前面都需要加上@login_required装饰器是比较傻的行为。借助于中间件，我们无需使用装饰器即可全局实现；

只有登陆用户才能访问视图函数，匿名用户跳转到登陆页面。实现原理也很简单：在一个request达到视图函数前，我们先对request.user是否验证通过进行判断，然后再进行跳转。

另外Django对Post表单中携带的CSRF token的全局校验也是通过csrfViewMiddleware这个中间件进行的，而不是通过单个装饰器实现的。

## 2、Django自带中间件介绍
```
MIDDLEWARE = [
    'django.middleware.security.SecurityMiddleware',
    'django.contrib.sessions.middleware.SessionMiddleware',
    'django.middleware.common.CommonMiddleware',
    'django.middleware.csrf.CsrfViewMiddleware',
    'django.contrib.auth.middleware.AuthenticationMiddleware',
    'django.contrib.messages.middleware.MessageMiddleware',
    'django.middleware.clickjacking.XFrameOptionsMiddleware',
]
```

* SecurityMiddleware：为request/response提供了几种安全改进，无它不安全
* SessionMiddleware: 开启session会话支持，无它无session
* CommonMiddleware：基于APPEND_SLASH和PREPEND_WWW的设置来重写URL。如果APPEND_SLASH设为true，并且初始化url没有以斜线结尾以及在URLconf中没找到对应定义，这时形成一个斜线结尾的新的URL；如果PREPEND_WWW设为true，前面缺少www.的url将会被重定向到相同但是以一个www.开头的url。
* CsrfViewMiddleware：添加跨站点请求伪造的保护，通过向POST表单添加一个隐藏的表单字短，并检查请求中是否有正确的值，无它无Csrf保护
* AuthenticationMiddleware：在视图函数执行前向每个接受到的user对象添加HttpRequest属性，表示当前登陆的用户。
* MessageMiddleware：开启基于cookie和会话的消息支持
* XFrameOptionsMIddleware：对点击劫持的保护。

如果你要实现全站缓存，还需要使用UpdateCacheMiddleware和FetchFromCacheMiddleware，但一定要注意它们的顺序，Update在前和Fetch在后。
```
MIDDLEWARE = [
    'django.middleware.cache.UpdateCacheMiddleware',
    'django.middleware.common.CommonMiddleware',
    'django.middleware.cache.FetchFromCacheMiddleware',
]
```
除此之外，Django还提供了压缩网站内容的GzipMiddleware，根据用户请求语言返回不同内容的localeMiddleware和给GET请求附加条件的ConditionalGetMiddleware。这些中间件都是可选的。

## 3、Django的中间件执行顺序

当你在settings.py注册中间件时一定要考虑中间件的执行顺序，中间件在request达到view之前是从上向下执行的，在view执行完成后返回response过程是从下向上执行的。


![image.png](https://www.choumaomi.com/static/img/b33c2a0ec247175f4f1e9d4d8959f31e.image.png)

### 1.自定义中间件

自定义中间件你首先要在app所属目录下新建一个文件middleware.py，添加好编写的中间代码，然后在项目settings.py中把它添加到middleware列表进行注册，添加时一定要注意顺序，Django提供了两种编写自定义中间件的形式：函数和类，基本框架如下所示：

1. 函数实现方式
```
def simple_middleware(get_response):
# One-time configuration and initialization. 一次性设置和初始化

    def middleware(request):
        # Code to be executed for each request before
# the view (and later middleware) are called.
        # request请求到达视图函数执行前的代码

        response = get_response(request)

        # Code to be executed for each request/response after
        # the view is called. 视图函数执行后的代码

        return response

    return middleware
```    

2. 类实现方式
```
class SimpleMiddleware:
    def __init__(self, get_response):
        self.get_response = get_response
        # One-time configuration and initialization.一次性设置和初始化

    def __call__(self, request):
        # Code to be executed for each request before
# the view (and later middleware) are called.
        # 视图函数执行前的代码

        response = self.get_response(request)

        # Code to be executed for each request/response after
        # the view is called. 视图函数执行后的代码

        return response
```


运用到实际案例中。我们编写一个MyFirstMiddleware的中间件，介入到了django的request/response整个处理过程，打印出请求执行过程，并在视图函数前打印出用户是否登陆：
```
class MyFirstMiddleware:
    def __init__(self, get_response):
        self.get_response = get_response
        # One-time configuration and initialization.一次性设置和初始化

    def __call__(self, request):
        # Code to be executed for each request before
        # the view (and later middleware) are called.
        print("接收到request请求，视图函数马上执行")
        if not request.user.is_authenticated:
            print("该请求用户尚未登录")

        response = self.get_response(request)
        # Code to be executed for each request/response after
        # the view is called. 视图函数执行后的代码
        print("视图函数执行结束，准备提供响应")

        return response
```


在settings.py里注册，最后一个中间件是自定义的，app名为users
```

MIDDLEWARE = [
    'django.middleware.security.SecurityMiddleware',
    'django.contrib.sessions.middleware.SessionMiddleware',
    'django.middleware.common.CommonMiddleware',
    'django.middleware.csrf.CsrfViewMiddleware',
    'django.contrib.auth.middleware.AuthenticationMiddleware',
    'django.contrib.messages.middleware.MessageMiddleware',
    'django.middleware.clickjacking.XFrameOptionsMiddleware',
    'users.middleware.MyFirstMiddleware',
]
```

因为我们自定义的中间件依赖于request对象，我们一定要放在AuthenticationMiddleware的后面。注册好中间件后，如果你运行 python manage.py runserver 你就会看到输出。

[参考链接](https://mp.weixin.qq.com/s?__biz=MjM5OTMyODA4Nw==&mid=2247484447&idx=1&sn=1c8292f771ae69e7b7313d46a9fb212f&chksm=a73c6427904bed315f108724384a1f3c134ec1bc2dd09d08f5227b0debbfd219fd0864f48fe2&scene=21#wechat_redirect)

django中间件

消息队列的对比

Real-world Interview Questions

# nginx的正向代理和反向代理

## 1.一句话解释
* 系统内部服务需要访问外部第三方地址，通过nginx配置代理出去为正向代理
* 外部用户访问内部服务通过nginx代理进入的反向代理



## 2. 正向代理
### 专业解释
正向代理服务器位于客户端和服务器之间，

为了从服务器之间，为了从服务器上获取数据，

客户端向代理服务器发起请求，然后服务器返回数据到客户端，这个代理是代理的客户端的请求

正向代理，对于服务来讲，来源地址是一个整体

### nginx配置示例
```shell
server {
  listen 8000；
  server_name localhost；
  
  location /proxy_zhihu/ {
      proxy_pass http://zhihu.com/;
  }
}
```

## 3. 反向代理
### 专业解释
客户端发起请求，实际对侯曼的处理流程是没有知晓的

代理服务器是接受客户端的请求，然后代理服务器一般会从所代理的节点中选择一个节点去获取数据

然后返回给客户端，此时反向代理服务器与后端服务器是一个整体

### nginx配置示例
```shell
upstream app{
  server 192.168.10.1:8000;
  server 192.168.10.2:8000;
}


server {
  listen 8000;
  server_name localhost;
  
  localtion / {
    proxy_pass htpp://app;
  }
}

```

## 4. 相关的程序及文件路径如下:
* 程序文件: 放在/usr/sbin/nginx目录中
* 全局配置文件: /etc/nginx/nginx.conf
* 访问日志文件: /var/log/nginx/access.log
* 错误日志文件: /var/log/nginx/error.log
* 站点配置文件: /etc/nginx/sites-enabled/default


## 5. 相关操作命令
```
sudo service nginx stop
sudo service nginx status
sudo service nginx restart

```

nginx的正向代理和反向代理

#  THE LEARNING CONTINUES
```
Designing good systems requires years of accumulation of knowledge. One shortcut is to dive into real-world system architectures. Below is a collection of helpful reading materials. We highly recommend you pay attention to both the shared principles and the underlying technologies. Researching each technology and understanding what problems it solves is a great way to strengthen your knowledge base and refine the design process.

设计好的系统需要多年的知识积累。一个捷径是深入了解现实世界的系统架构。以下是一系列有用的阅读材料。我们强烈建议您同时关注共享原则和基础技术。研究每种技术并了解它解决了哪些问题是加强知识库和完善设计过程的好方法。
```



## Real-world systems 真实世界的系统
```
The following materials can help you understand general design ideas of real system
architectures behind different companies.
Facebook Timeline: Brought To You By The Power Of Denormalization: https://goo.gl/FCNrbm
Scale at Facebook: https://goo.gl/NGTdCs
Building Timeline: Scaling up to hold your life story: https://goo.gl/8p5wDV
Erlang at Facebook (Facebook chat): https://goo.gl/zSLHrj
Facebook Chat: https://goo.gl/qzSiWC
Finding a needle in Haystack: Facebook’s photo storage: https://goo.gl/edj4FL
Serving Facebook Multifeed: Efficiency, performance gains through redesign:
https://goo.gl/adFVMQ
Scaling Memcache at Facebook: https://goo.gl/rZiAhX
TAO: Facebook’s Distributed Data Store for the Social Graph: https://goo.gl/Tk1DyH
Amazon Architecture: https://goo.gl/k4feoW
Dynamo: Amazon’s Highly Available Key-value Store: https://goo.gl/C7zxDL
A 360 Degree View Of The Entire Netflix Stack: https://goo.gl/rYSDTz
It’s All A/Bout Testing: The Netflix Experimentation Platform: https://goo.gl/agbA4K
Netflix Recommendations: Beyond the 5 stars (Part 1): https://goo.gl/A4FkYi
Netflix Recommendations: Beyond the 5 stars (Part 2): https://goo.gl/XNPMXm
Google Architecture: https://goo.gl/dvkDiY

以下材料可以帮助您了解真实系统的总体设计思路
不同公司背后的架构。
Facebook时间线：由非规范化的力量带给您：https://goo.gl/FCNrbm
Facebook的规模：https://goo.gl/NGTdCs
建筑时间表：放大以容纳您的生活故事：https://goo.gl/8p5wDV
Erlang at Facebook （Facebook chat）： https://goo.gl/zSLHrj
脸书聊天：https://goo.gl/qzSiWC
在Haystack中寻找针头：Facebook的照片存储：https://goo.gl/edj4FL
服务Facebook多源：通过重新设计提高效率和性能： https://goo.gl/adFVMQ
在Facebook上扩展Memcache：https://goo.gl/rZiAhX
TAO：Facebook的社交图谱分布式数据存储：https://goo.gl/Tk1DyH
亚马逊架构：https://goo.gl/k4feoW
Dynamo：亚马逊的高可用性键值存储：https://goo.gl/C7zxDL
整个 Netflix 堆栈的 360 度视图：https://goo.gl/rYSDTz
这都是A/Bout测试：Netflix实验平台：https://goo.gl/agbA4K
Netflix 推荐：超越 5 星（第 1 部分）：https://goo.gl/A4FkYi
Netflix 推荐：超越 5 星（第 2 部分）：https://goo.gl/XNPMXm
谷歌架构：https://goo.gl/dvkDiY
```
```
The Google File System (Google Docs): https://goo.gl/xj5n9R
Differential Synchronization (Google Docs): https://goo.gl/9zqG7x
YouTube Architecture: https://goo.gl/mCPRUF
Seattle Conference on Scalability: YouTube Scalability: https://goo.gl/dH3zYq
Bigtable: A Distributed Storage System for Structured Data: https://goo.gl/6NaZca
Instagram Architecture: 14 Million Users, Terabytes Of Photos, 100s Of Instances, Dozens Of Technologies: https://goo.gl/s1VcW5
The Architecture Twitter Uses To Deal With 150M Active Users: https://goo.gl/EwvfRd
Scaling Twitter: Making Twitter 10000 Percent Faster: https://goo.gl/nYGC1k
Announcing Snowflake (Snowflake is a network service for generating unique ID numbers at high scale with some simple guarantees): https://goo.gl/GzVWYm
Timelines at Scale: https://goo.gl/8KbqTy
How Uber Scales Their Real-Time Market Platform: https://goo.gl/kGZuVy
Scaling Pinterest: https://goo.gl/KtmjW3
Pinterest Architecture Update: https://goo.gl/w6rRsf
A Brief History of Scaling LinkedIn: https://goo.gl/8A1Pi8
Flickr Architecture: https://goo.gl/dWtgYa
How We've Scaled Dropbox: https://goo.gl/NjBDtC
The WhatsApp Architecture Facebook Bought For $19 Billion: https://bit.ly/2AHJnFn

谷歌文件系统（谷歌文档）：https://goo.gl/xj5n9R
差分同步（谷歌文档）：https://goo.gl/9zqG7x
优酷架构：https://goo.gl/mCPRUF
西雅图可扩展性会议：YouTube 可扩展性：https://goo.gl/dH3zYq
Bigtable：用于结构化数据的分布式存储系统：https://goo.gl/6NaZca
Instagram架构：1400万用户，TB级照片，100多个实例，数十种技术：https://goo.gl/s1VcW5
Twitter用来处理15000万活跃用户的架构：https://goo.gl/EwvfRd
扩展Twitter：使Twitter速度提高10000%：https://goo.gl/nYGC1k
宣布 Snowflake（Snowflake 是一种网络服务，用于大规模生成唯一的 ID 号，并提供一些简单的保证）： https://goo.gl/GzVWYm
大规模时间表：https://goo.gl/8KbqTy
优步如何扩展其实时市场平台：https://goo.gl/kGZuVy
缩放Pinterest：https://goo.gl/KtmjW3
Pinterest 架构更新：https://goo.gl/w6rRsf
缩放LinkedIn简史：https://goo.gl/8A1Pi8
Flickr Architecture： https://goo.gl/dWtgYa
我们如何扩展 Dropbox：https://goo.gl/NjBDtC
Facebook以190亿美元收购的WhatsApp架构：https://bit.ly/2AHJnFn
```

## Company engineering blogs
```
If you are going to interview with a company, it is a great idea to read their engineering blogs and get familiar with technologies and systems adopted and implemented there. Besides, engineering blogs provide invaluable insights about certain fields. Reading them regularly could help us become better engineers.
Here is a list of engineering blogs of well-known large companies and startups.


如果您要面试一家公司，最好阅读他们的工程博客并熟悉那里采用和实施的技术和系统。此外，工程博客提供了有关某些领域的宝贵见解。定期阅读它们可以帮助我们成为更好的工程师。
以下是知名大公司和初创公司的工程博客列表。
```

```
Airbnb: https://medium.com/airbnb-engineering
Amazon: https://developer.amazon.com/blogs
Asana: https://blog.asana.com/category/eng
Atlassian: https://developer.atlassian.com/blog
Bittorrent: http://engineering.bittorrent.com
Cloudera: https://blog.cloudera.com
Docker: https://blog.docker.com
Dropbox: https://blogs.dropbox.com/tech
eBay: http://www.ebaytechblog.com
Facebook: https://code.facebook.com/posts
GitHub: https://githubengineering.com
Google: https://developers.googleblog.com
Groupon: https://engineering.groupon.com
Highscalability: http://highscalability.com
Instacart: https://tech.instacart.com
Instagram: https://engineering.instagram.com
Linkedin: https://engineering.linkedin.com/blog
Mixpanel: https://mixpanel.com/blog
Netflix: https://medium.com/netflix-techblog
Nextdoor: https://engblog.nextdoor.com
PayPal: https://www.paypal-engineering.com
Pinterest: https://engineering.pinterest.com
Quora: https://engineering.quora.com
Reddit: https://redditblog.com
Salesforce: https://developer.salesforce.com/blogs/engineering
Shopify: https://engineering.shopify.com
Slack: https://slack.engineering
Soundcloud: https://developers.soundcloud.com/blog
Spotify: https://labs.spotify.com
Stripe: https://stripe.com/blog/engineering
System design primer: https://github.com/donnemartin/system-design-primer
Twitter: https://blog.twitter.com/engineering/en_us.html
Thumbtack: https://www.thumbtack.com/engineering
Uber: http://eng.uber.com
Yahoo: https://yahooeng.tumblr.com
Yelp: https://engineeringblog.yelp.com
Zoom: https://medium.com/zoom-developer-blog
```
## AFTERWORD
```
Congratulations! You are at the end of this interview guide. You have accumulated skills and knowledge to design systems. Not everyone has the discipline to learn what you have learned. Take a moment and pat yourself on the back. Your hard work will be paid off.

Landing a dream job is a long journey and requires lots of time and effort. Practice makes perfect. Best luck!

Thank you for buying and reading this book. Without readers like you, our work would not exist. We hope you have enjoyed the book!
If you don’t mind, please review this book on Amazon: https://tinyurl.com/y7d3ltbc It would help me attract more wonderful readers like you.
Please subscribe to our email list if you want to be notified when new chapters are available:
https://bit.ly/3dtIcsE
If you have comments or questions about this book, feel free to send us an email at
systemdesigninsider@gmail.com. Besides, if you notice any errors, please let us know so we can make corrections in the next edition. Thank you!

祝贺！您已经结束了本面试指南。您已经积累了设计系统的技能和知识。不是每个人都有纪律来学习你所学到的东西。花点时间拍拍自己的背。您的辛勤工作将得到回报。

找到一份梦寐以求的工作是一个漫长的旅程，需要大量的时间和精力。熟能生巧。祝你好运！

感谢您购买和阅读本书。没有像您这样的读者，我们的工作就不会存在。我们希望您喜欢这本书！
如果您不介意，请在亚马逊上查看这本书：https://tinyurl.com/y7d3ltbc 它会帮助我吸引更多像您这样的优秀读者。
如果您希望在新章节可用时收到通知，请订阅我们的电子邮件列表：
https://bit.ly/3dtIcsE
如果您对本书有任何意见或疑问，请随时给我们发送电子邮件至
systemdesigninsider@gmail.com。此外，如果您发现任何错误，请告诉我们，以便我们在下一版中进行更正。谢谢！
```



链接: https://pan.baidu.com/s/1djv47WT7YeXLprFCpn8Z2A 提取码: m3k2