# 简单理解套接字

在任何类型的通信开始之前，网络应用程序都必须创建套接字
> 套接字最初是为同一主机上的应用程序所创建，使得主机上运行的一个程序（又名一个进程）与另一个运行的程序进行通信。这就是所谓的进程间的通信

有两种类型的套接字：基于文件和面向网络的：

1. 基于文件的  家族名:AF_UNIX

	它代表地址家族(addressfamily)：unix。其他比较旧的系统可能会将地址家族表示成域(domain)或协议家族(protocolfamily)
	
2. 面向网络的  家族名:AF_INET

	它代表地址家族(addressfamily)：因特网。另一个地址家族AF_INET6用于第6版因特网协议寻址。在所有的地址家族之中，目前AF_INET是使用最广泛的。
	
# 套接字地址：主机-端口对
做个比喻，套接字就像一个电话插孔，主机名和端口号就像区号和号码。当程序之间需要通信时，需要知道对端的主机名(IP)和端口号。有效的端口号范围为0~65535

# 面向连接的套接字与无连接的套接字
1. 面向连接的套接字
	
	TCP套接字的SOCK_STREAM
	特点：可靠，开销大
	> 在进行通信之前必须先建立一个连接，该连接的通信提供序列化的、可靠的和不重复的数据交付，而没有记录边界。这种类型的通信也称为虚拟电路或流套接字。
实现这种连接类型的主要协议是传输控制协议（缩写 TCP）
为了创建 TCP套接字，必须使用 SOCK_STREAM 作为套接字类型。

2. 无连接的套接字
	
	UDP套接字的名字SOCK_DGRAM
	特点:不可靠（局域网内还是比较可靠的）,开销小
	> 与虚拟电路形成鲜明对比的是数据报类型的套接字，它是一种无连接的套接字。
在通信开始之前并不需要建立连接。此时，在数据传输过程中并无法保证它的顺序性、可靠性或重复性。数据报确实保存了记录边界，这就意味着消息是以整体发送的，而并非首先分成多个片段。
实现这种连接类型的主要协议是用户数据报协议（缩写 UDP）。为
了创建UDP套接字，必须使用SOCK_DGRAM作为套接字类型。
UDP套接字的SOCK_DGRAM名字来自于单词“datagram”（数据报）。


简单理解套接字

1. 获取mongoDB中数据库的大小命令
```bash
use databasename
db.stats()
显示信息如下
> db.stats()
{ "collections" : 3, "objects" : 80614, "dataSize" : 21069700, "storageSize" : 39845376, "numExtents" : 9, "indexes" : 2, "indexSize" : 6012928, "ok" : 1}
```



其中storage表示的就是数据库的大小，显示出的数字的单位是字节，因此如果需要转换单位为KB需要除以1024  

2. 获取MongoDB中collection
```bash
db.collection.dataSize()
//collection中的数据大小
db.collection.storageSize()
//为collection分配的空间大小，包括未使用的空间
db.collection.totalIndexSize()
```
collection中索引数据大小
```bash
db.collection.totalSize()
```
collection中索引+data所占空间

获得mongodb数据表的大小

# MongoDB 设置账号和密码
##  一、安装MongoDB
1. 环境配置：
    * 操作系统：CentOS release 6.8 (Final) 

    ```bash
    [root@iZ2ze2pbbffhmn53ao4tuaZ bin]# cat /etc/redhat-release
    ```
    * 计算机类型：x86_64


    ```bash
    [root@iZ2ze2pbbffhmn53ao4tuaZ bin]# uname -m
    ```
    


2. 下载对应的MongoDB 版本
```bash
[root@iZ2ze2pbbffhmn53ao4tuaZ bin]# wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-3.6.4.tgz
```
3. 解压MongoDB 数据库
```bash
[root@iZ2ze2pbbffhmn53ao4tuaZ opt]# tar -zxvf mongodb-linux-x86_64-rhel62-3.6.4.tgz
```
4. 启动MongoDB
```bash
[root@iZ2ze2pbbffhmn53ao4tuaZ bin]# mkdir -p /data/db # 创建数据库数据存放目录
[root@iZ2ze2pbbffhmn53ao4tuaZ opt]# cd /opt/mongodb/bin

[root@iZ2ze2pbbffhmn53ao4tuaZ bin]# ./mongod # 启动Mongo Server服务，默认端口:27017，默认允许本地连接
```
## 二、配置账号和密码
1. 开启认证

    MongoDB 默认安装完成以后，只允许本地连接，同时不需要使用任何账号密码就可以直接连接MongoDB，这样就容易被黑，让支付一些比特币，所以为了避免这些不

    必要的麻烦，所以我们需要给Mongo设置一个账号密码；
```bash
[root@iZ2ze2pbbffhmn53ao4tuaZ bin]# ./mongod --auth # 启用认证
```
2. 创建管理员用户
```bash
> use admin
switched to db admin
> db.createUser({user:"admin",pwd:"password",roles:["root"]})
Successfully added user: { "user" : "admin", "roles" : [ "root" ] }
```
3. 认证登录
```bash
> db.auth("admin", "password")
```
4. MongoDB role 类型
* 数据库用户角色（Database User Roles）
    
    read：授予User只读数据的权限
    
    readWrite：授予User读写数据的权限

* 数据库管理角色（Database Administration Roles）：

    dbAdmin：在当前dB中执行管理操作
    
    dbOwner：在当前DB中执行任意操作
    
    userAdmin：在当前DB中管理User
* 备份和还原角色（Backup and Restoration Roles）：
    
    backup

    restore
* 跨库角色（All-Database Roles）：

    readAnyDatabase：授予在所有数据库上读取数据的权限
    readWriteAnyDatabase：授予在所有数据库上读写数据的权限userAdminAnyDatabase：授予在所有数据库上管理User的权限dbAdminAnyDatabase：授予管理所有数据库的权限
* 集群管理角色（Cluster Administration Roles）

    clusterAdmin：授予管理集群的最高权限

    clusterManager：授予管理和监控集群的权限，A user with this role can access the config and local databases, which are used in sharding and replication, respectively.
    
    clusterMonitor：授予监控集群的权限，对监控工具具有readonly的权限
    
    hostManager：管理Server
5. 添加数据库用户
```bash
> use flowpp
switched to db flowpp
> db.createUser({user: "flowpp", pwd: "flopww", roles: [{ role: "dbOwner", db: "flowpp" }]}) # 创建用户flowpp,设置密码flopww，设置角色dbOwner
```
6. 查看系统用户
```bash
> use admin
switched to db admin
> db.system.users.find() # 显示当前系统用户
{ "_id" : "admin.admin", "user" : "admin", "db" : "admin", "credentials" : { "SCRAM-SHA-1" : { "iterationCount" : 10000, "salt" : "9jXmylyRAK22TZmzv1Thig==", "storedKey" : "z76cVrBjX/CTFmn5RujtU+dz7Nw=", "serverKey" : "JQGonM84iDMI1nIXW7FdyOE55ig=" } }, "roles" : [ { "role" : "root", "db" : "admin" } ] }
{ "_id" : "flowpp.flowpp", "user" : "flowpp", "db" : "flowpp", "credentials" : { "SCRAM-SHA-1" : { "iterationCount" : 10000, "salt" : "KvocqWZA9E2tXBHpKpdAeQ==", "storedKey" : "50Kxc3LEgCSVN1z16S8g4A6jVp8=", "serverKey" : "0RSnsxd/7Yzmqro/YOHf/kfbHCk=" } }, "roles" : [ { "role" : "dbOwner", "db" : "flowpp" } ] }
```
7. 删除用户
```bash
1.切换admin ，删除用户flowpp ，删除失败
> use admin
switched to db admin
> db.dropUser("flowpp")
false
2.切换flowpp ，删除用户flowpp，删除成功
> use flowpp
switched to db flowpp
> db.dropUser("flowpp")
true
```
说明：删除用户的时候需要切换到用户管理的数据库才可以删除；

mongodb设置账号和密码

## 保留小数、并且加百分号



```python
from decimal import *
def formatting_str(number_, keep_digits, is_percent=False):
    """
    number 为数字、字符串
    keep_digits 必为整数 0 代表不做保留整数
    is_percent Boolean
    :return ''或结果
    """

    # rate保留2位小数，
    str_ = str(number_).replace('%', '')
    result = ''
    try:
        if keep_digits != '0':
            Decimal(str_)
            query = '{:.' + str(keep_digits) + 'f}'
            result = query.format(Decimal(str_))
        else:
            if str_:
                result = str_
        if is_percent and (str_ or keep_digits != '0'):
            result += '%'
    except:
        pass
    return result
```

工具包-保留小数

# Mongodb高级篇-性能优化

## 1. 监控

mongodb可以通过profile来监控数据，进行优化。

查看当前是否开启profile功能用命令：db.getProfilingLevel()返回level等级，值为0|1|2，分别代表意思：0代表关闭，1代表记录慢命令，2代表全部。

开始profile功能为db.setProfilingLevel(level);

level为1的时候，慢命令默认值为100ms，更改为db.setProfilingLevel(level,slowms)如db.setProfilingLevel(1,50)这样就更改为50毫秒
通过db.system.profile.find() 查看当前的监控日志。



通过执行db.system.profile.find({millis:{$gt:500}})能够返回查询时间在500毫秒以上的查询命令。

这里值的含义是

    ts：命令执行时间
    info：命令的内容
    query：代表查询
    order.order： 代表查询的库与集合
    reslen：返回的结果集大小，byte数
    nscanned：扫描记录数量
    nquery：后面是查询条件
    nreturned：返回记录数及用时
    millis：所花时间

如果发现时间比较长，那么就需要作优化。

比如nscanned数很大，或者接近记录总数，那么可能没有用到索引查询。

reslen很大，有可能返回没必要的字段。

nreturned很大，那么有可能查询的时候没有加限制。

mongo可以通过db.serverStatus()查看mongod的运行状态
### 如何应对 MongoDB 分片中的主节点宕机？
当主节点宕机时，健康的从节点会进行选举并提升为新的主节点，实现故障切换。
### 如何查看MongoDB中的未提交事务
db.currentOp()可以用来查看当前的操作，包括未提交的事务。

## 2. 索引

如果发现查询时间相对长，那么就需要做优化。首选就是为待查询的字段建立索引，不过需要特别注意的是，索引不是万能灵药。如果需要查询超过一半的集合数据，索引还不如直接遍历来的好。

索引的原理是通过建立指定字段的B树，通过搜索B树来查找对应document的地址。这也就解释了如果需要查询超过一半的集合数据，直接遍历省去了搜索B树的过程，效率反而会高。

关于索引，索引列颗粒越小越好，什么叫颗粒越小越好？在索引列中每个数据的重复数量称为颗粒，也叫作索引的基数。如果数据的颗粒过大，索引就无法发挥该有的性能。例如，我们拥有一个"age"列索引，如果在"age"列中，20岁占了50%，如果现在要查询一个20岁，名叫"Tom"的人，我们则需要在表的50%的数据中查询，索引的作用大大降低。所以，我们在建立索引时要尽量将数据颗粒小的列放在索引左侧，以保证索引发挥最大的作用。
### 如何在恢复 MongoDB 备份时仅恢复数据？
--noIndexRestore选项允许你在恢复数据时跳过索引的恢复。

## 3. exlpain查询执行情况

执行命令：
```bash
> db.order.find({ "status": 1.0, "user.uid": { $gt: 2663199.0 } }).explain()
{
"cursor" : "BasicCursor",#游标类型
"nscanned" : 2010000,#扫描数量
"nscannedObjects" : 2010000,#扫描对象
"n" : 337800,#返回数据
"millis" : 2838,#耗时
"nYields" : 0,
"nChunkSkips" : 0,
"isMultiKey" : false,
"indexOnly" : false,
"indexBounds" : {#使用索引（这里没有）
}
}
```
通过这些信息就能判断查询时如何执行的了

## 4. 数据库设计优化

在项目设计阶段，明确集合的用途是对性能调优非常重要的一步。

从性能优化的角度来看，集合的设计我们需要考虑的是集合中数据的常用操作，例如我们需要设计一个日志（log）集合，日志的查看频率不高，但写入频率却很高，那么我们就可以得到这个集合中常用的操作是更新（增删改）。如果我们要保存的是城市列表呢？显而易见，这个集合是一个查看频率很高，但写入频率很低的集合，那么常用的操作就是查询。

对于频繁更新和频繁查询的集合，我们最需要关注的重点是他们的范式化程度，假设现在我们需要存储一篇图书及其作者，在MongoDB中的关联就可以体现为以下几种形式：

    1. 完全分离（范式化设计）
    示例1：
    ```bash
    View Code
    {
    "_id" : ObjectId("5124b5d86041c7dca81917"),
    "title" : "如何使用MongoDB",
    "author" : [
    ObjectId("144b5d83041c7dca84416"),
    ObjectId("144b5d83041c7dca84418"),
    ObjectId("144b5d83041c7dca84420"),
    ]
    }
    ```
    我们将作者(comment) 的id数组作为一个字段添加到了图书中去。这样的设计方式是在非关系型数据库中常用的，也就是我们所说的范式化设计。在MongoDB中我们将与主键没有直接关系的图书单独提取到另一个集合，用存储主键的方式进行关联查询。当我们要查询文章和评论时需要先查询到所需的文章，再从文章中获取评论id，最后用获得的完整的文章及其评论。在这种情况下查询性能显然是不理想的。但当某位作者的信息需要修改时，范式化的维护优势就凸显出来了，我们无需考虑此作者关联的图书，直接进行修改此作者的字段即可。

    2. 完全内嵌（反范式化设计）
    示例2：
    ```bash
    View Code
    {
    "_id" : ObjectId("5124b5d86041c7dca81917"),
    "title" : "如何使用MongoDB",
    "author" : [
    {
    　　　　 "name" : "丁磊"
    　　　　 "age" : 40,
    　　　　"nationality" : "china",
    },
    {
    　　　　 "name" : "马云"
    　　　　 "age" : 49,
    　　　　 "nationality" : "china",
    },
    {
    　　　　 "name" : "张召忠"
    　　　　 "age" : 59,
    　　　　 "nationality" : "china",
    },
    ]
    }
    ```
    在这个示例中我们将作者的字段完全嵌入到了图书中去，在查询的时候直接查询图书即可获得所对应作者的全部信息，但因一个作者可能有多本著作，当修改某位作者的信息时时，我们需要遍历所有图书以找到该作者，将其修改。
    3. 部分内嵌（折中方案）
    示例3：
    ```bash
    View Code
    {
    "_id" : ObjectId("5124b5d86041c7dca81917"),
    "title" : "如何使用MongoDB",
    "author" : [
    {
    　　　　"_id" : ObjectId("144b5d83041c7dca84416"),
    　　　　 "name" : "丁磊"
    },
    {
    　　　　 "_id" : ObjectId("144b5d83041c7dca84418"),
    　　　　 "name" : "马云"
    },
    {
    　　　　 "_id" : ObjectId("144b5d83041c7dca84420"),
    　　　　 "name" : "张召忠"
    },
    ]
    }
    ```
    这次我们将作者字段中的最常用的一部分提取出来。当我们只需要获得图书和作者名时，无需再次进入作者集合进行查询，仅在图书集合查询即可获得。
    这种方式是一种相对折中的方式，既保证了查询效率，也保证的更新效率。但这样的方式显然要比前两种较难以掌握，难点在于需要与实际业务进行结合来寻找合适的提取字段。如同示例3所述，名字显然不是一个经常修改的字段，这样的字段如果提取出来是没问题的，但如果提取出来的字段是一个经常修改的字段（比如age）的话，我们依旧在更新这个字段时需要大范围的寻找并依此进行更新。

    在上面三个示例中，第一个示例的更新效率是最高的，但查询效率是最低的，而第二个示例的查询效率最高，但更新效率最低。所以在实际的工作中我们需要根据自己实际的需要来设计表中的字段，以获得最高的效率。

## 5. 其他方法

### 热数据法
可能你的数据集非常大，但是这并不那么重要，重要的是你的热数据集有多大，你经常访问的数据有多大(包括经常访问的数据和所有索引数据)。使用MongoDB，你最好保证你的热数据在你机器的内存大小之下，保证内存能容纳所有热数据。

### 文件系统法
MongoDB的数据文件是采用的预分配模式，并且在Replication里面，Master和Replica Sets的非Arbiter节点都是会预先创建足够的空文件用以存储操作日志。这些文件分配操作在一些文件系统上可能会非常慢，导致进程被Block。所以我们应该选择那些空间分配快速的文件系统。这里的结论是尽量不要用ext3，用ext4或者xfs。

### 硬件法
这里的选择包括了对磁盘RAID的选择，也包括了磁盘与SSD的对比选择。
其他

如果数据文件大于系统内存，查询速度会下降几个数量级，因为mongodb是内存数据库。我以前测试过，1000万数据的时候没有索引情况下查询可能会几秒钟甚至更久。

这种情况，你最好给经常查询的项创建索引，有索引以后查询速度会非常非常非常的快。

另外一点是数据索引如果大于内存，速度也会下降很多。而且对于多条件查询，如果你查询的顺学和索引顺序不同，也不能使用索引。这个要慢慢摸索
如果你使用了replica set，这个会影响写入速度的，三个replica set，速度会降低到三分之一。

## 6. 如何在大规模集群中进一步优化缓慢的查询？

垂直划分可以将不同的工作负载分隔到不同的服务器或集群上，从而提高性能。

* 增加更多的分片：这可能会提高查询性能，但是这也可能导致管理复杂性增加，并且不是所有的工作负载都适合分片；
* 对整个数据库进行整理：这可能会提高查询性能，但是也会消耗大量的系统资源，并且在整理过程中数据库将无法提供服务；
* 将所有数据转移到单个分片上：会导致该分片的负载过大，并且无法充分利用集群中的其他服务器。