0401 - 集合框架

具体的应用场景：
1）社交场景，使用 MongoDB 存储存储用户信息，以及用户发表的朋友圈信息，通过地理位置索引实现附近的人、地点等功能。
2）游戏场景，使用 MongoDB 存储游戏用户信息，用户的装备、积分等直接以内嵌文档的形式存储，方便查询、高效率存储和访问。
3）物流场景，使用 MongoDB 存储订单信息，订单状态在运送过程中会不断更新，以 MongoDB 内嵌数组的形式来存储，一次查询就能将
订单所有的变更读取出来。
4）物联网场景，使用 MongoDB 存储所有接入的智能设备信息，以及设备汇报的日志信息，并对这些信息进行多维度的分析。
5）视频直播，使用 MongoDB 存储用户信息、点赞互动信息等。

use 数据库名称

show dbs 或 show databases

db

db.dropDatabase()

db.createCollection(集合名称)

当向一个集合中插入一个文档的时候，如果集合不存在，则自动创建集合

show tables 或者 show collections

db.collection.drop() 或 db.集合.drop()

单个文档的插入

批量插入

db.collection.find(<query>, [projection])

db.collection.update(query, update，options)

db.集合名称.remove(条件)

db.collection.count(query, options)

db.COLLECTION_NAME.find().limit(NUMBER).skip(NUMBER)

db.COLLECTION_NAME.find().sort({KEY:1})
或
db.集合名称.find().sort(排序方式)

db.collection.find({field:/正则表达式/})
或
db.集合.find({字段:/正则表达式/})

db.集合名称.find({ "field" : { $gt: value }}) // 大于: field > value
db.集合名称.find({ "field" : { $lt: value }}) // 小于: field < value
db.集合名称.find({ "field" : { $gte: value }}) // 大于等于: field >= value
db.集合名称.find({ "field" : { $lte: value }}) // 小于等于: field <= value
db.集合名称.find({ "field" : { $ne: value }}) // 不等于: field != value

db.comment.find({userid:{$in:["1003","1004"]}})

$and:[ { },{ },{ } ]

$or:[ { },{ },{ } ]

MongoDB支持在文档的单个字段上创建用户定义的升序/降序索引，称为单字段索引（Single Field Index）；
对于单个字段索引和排序操作，索引键的排序顺序（即升序或降序）并不重要，因为MongoDB可以在任何方向上遍历索引。

MongoDB还支持多个字段的用户定义索引，即复合索引（Compound Index）。
复合索引中列出的字段顺序具有重要意义。例如，如果复合索引由{ userid: 1, score: -1 } 组成，则索引首先按userid正序排序，然后
在每个userid的值内，再在按score倒序排序。

为了支持对地理空间坐标数据的有效查询，MongoDB提供了两种特殊的索引：
返回结果时使用平面几何的二维索引和返回结果时使用球面几何的二维球面索引。

MongoDB提供了一种文本索引类型，支持在集合中搜索字符串内容。这些文本索引不存储特定于语言的停止词
（例如“the”、“a”、“or”），而将集合中的词作为词干，只存储根词。

为了支持基于散列的分片，MongoDB提供了散列索引类型，它对字段值的散列进行索引。
这些索引在其范围内的值分布更加随机，但只支持相等匹配，不支持基于范围的查询。

db.collection.getIndexes()

db.collection.createIndex(keys, options)

db.collection.dropIndex(index)

db.comment.dropIndexes()

分析查询性能（Analyze Query Performance）通常使用执行计划（解释计划、Explain Plan）来查看查询的情况，
如查询耗费的时间、是否基于索引查询等。

当查询条件和查询的投影仅包含索引字段时，MongoDB直接从索引返回结果，而不扫描任何文档或将文档带入内存。 这些覆盖的查询可以
非常有效。

MongoDB中的副本集（Replica Set）是一组维护相同数据集的mongod服务。
副本集可提供冗余和高可用性，是所有生产部署的基础。

冗余和数据可用性

MongoDB中的复制

主从复制和副本集区别

两种类型

三种角色

主节点选举的触发条件

分片（sharding）是一种跨多台机器分布数据的方法， MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。

换句话说：分片(sharding)是指将数据拆分，将其分散存在不同的机器上的过程。有时也用分区(partitioning)来表示这个概念。
将数据分散到不同的机器上，不需要功能强大的大型计算机就可以储存更多的数据，处理更多的负载。

有两种解决系统增长的方法：垂直扩展和水平扩展。
垂直扩展意味着增加单个服务器的容量，例如使用更强大的CPU，添加更多RAM或增加存储空间量。可用技术的局限性可能会限制单个机器对于给定工作负载而言足够强大。此外，基于云的提供商基于可用的硬件配置具有硬性上限。结果，垂直缩放有实际的最大值。

分片（存储）：每个分片包含分片数据的子集。 每个分片都可以部署为副本集。

mongos（路由）：mongos充当查询路由器，在客户端应用程序和分片集群之间提供接口。

config servers（“调度”的配置）：配置服务器存储群集的元数据和配置设置。
从MongoDB 3.4开始，必须将配置服务器部署为副本集（CSRS）。

两个分片节点副本集（3+3）+ 一个配置节点副本集（3）+ 两个路由节点（2）

mongodb官网上说，为了能保障mongodb的安全可以做以下几个步骤：
1）使用新的端口，默认的27017端口如果一旦知道了ip就能连接上，不太安全。
2）设置mongodb的网络环境，最好将mongodb部署到公司服务器内网，这样外网是访问不到的。公司内部访问使用vpn等。
3）开启安全认证。认证要同时设置服务器之间的内部认证方式，同时要设置客户端连接到集群的账号密码认证方式。

1）启用访问控制：
MongoDB使用的是基于角色的访问控制(Role-Based Access Control,RBAC)来管理用户对实例的访问。
通过对用户授予一个或多个角色来控制用户访问数据库资源的权限和数据库操作的权限，在对用户分配
角色之前，用户无法访问实例。
在实例启动时添加选项--auth 或指定启动配置文件中添加选项auth=true 。

2）角色：
在MongoDB中通过角色对用户授予相应数据库资源的操作权限，每个角色当中的权限可以显式指定，
也可以通过继承其他角色的权限，或者两都都存在的权限。

3）权限：
权限由指定的数据库资源(resource)以及允许在指定资源上进行的操作(action)组成。
1. 资源(resource)包括：数据库、集合、部分集合和集群；
2. 操作(action)包括：对资源进行的增、删、改、查(CRUD)操作。
在角色定义时可以包含一个或多个已存在的角色，新创建的角色会继承包含的角色所有的权限。在同一
个数据库中，新创建角色可以继承其他角色的权限，在admin 数据库中创建的角色可以继承在其它任意
数据库中角色的权限。

关于角色权限的查看

常用的内置角色

动态数组

不安全

插入和删除受元素位置影响，如果是add（e），就是添加到尾部，时间复杂度为O(1)，如果是指定位置插入的时间复杂度为O(n-i)。

支持，通过下标get(index)来迅速获取元素对象

尾部需要预留一段空间，防止数组越界

双向链表

不安全

链表存储，所以插入和删除不受元素位置影响，都是近似O(1)

链表不支持

空间消耗比ArrayList更大，因为每个元素需要更多的空间前指针和后指针及数据

安全

其实就是方法加了synchronized修饰的ArrayList

循环遍历的时候，删除元素，首先会定位到元素位置删除，然后复制数组往前移动一位，
遍历到最后就会出现null，报错了

写多读少

读多写少

Vector

前者实现了set接口，后者是Map接口

前者存储对象，后者是键值对

前者用add新增，后者是put

前者是用hashcode和equals来判断对象是否相等，后面只用hashcode

前者效率慢，后者快

首先计算对象的hashcode然后匹配是否有其他的已经存入的hashcode与之匹配，若没有
那么假如，如果有，要么要通过equals来检查hashcode的对象是否真的相同。

JDK1.7

JDK1.8

初始大小是16，扩容因子是0.75，扩容都是2的幂次方，如果设置的初始值不是2的n次方，hashmap会自动扩充为2的n次方

不安全

支持

拉链法

扩容方法会新建一个数组，复制原数组到新的数组，由于下标挂着链表，
扩容之后会导致环形链表的出现，JDK1.8已经解决了这个问题了。

初始大小是11，每次扩容都是2n+1

安全

不支持

1.7

1.8

put

get

remove

resize

size

安全

底层数据结构：1.7分段数组+链表,1.8散列红黑树，而hashtable一直是散列

实现线程安全的方式【重要】

红黑树

有序

put

deleteEntry

继承于HashMap,同时内部增加了一个链表，用来保证元素的顺序

基于元素进入集合的顺序或者被访问的先后顺序

1）LinkedHashMap是根据元素增加或者访问的先后顺序进行排序

2）TreeMap是基于元素的固有顺序（借助Comparator或者Comparable确定）

3）如果是自然顺序或者自定义顺序的话treemap好，如果需要输出顺序和输入顺序一致的话用LinkedHashMap好

第一范式1NF：列的原子性
第二范式2NF：满足第一范式，必须要有主键列
第三范式3NF：满足第二范式，主外键引用

1、域（列）完整性：包括取值范围、类型、默认值、非空等
2、实体（行）完整性：主关键字即不能重复，也不能为空值
3、参照完整性：外键约束
4、用户自定义完整性：范围约束

概念模型

逻辑模型

物理模型

单个字段作为索引

多个字段一起作为索引

数据有序,范围查询

通过Ｈash算法计算索引位置，效率高，一次定位。但需要解决Hash冲突，不能排序,不能进行范围查询

数据和索引放在同一个文件中，以主键为索引存储数据

表中行的物理顺序与键值的逻辑（索引）顺序相同，一个表只能包含一个聚集索引

数据和索引分开单独存放在不同的文件中，索引文件不存储数据，而是存储数据的地址

数据表中记录的物理顺序与索引顺序可以不相同，一个表中可以包含多个非聚集索引

使用多列索引的查询语句：只有查询条件使用了这些字段中的第一个字段时，索引才会被使用。

乐观锁

悲观锁

读锁

写锁

表锁

行锁

事务时原子性操作，要么执行，要么都不执行

事务在执行前后数据完整性必须保持一致

并发的事务之间时相互隔离的，事务内部的操作对于其他事务而言都是相互不可见的。如果不考虑隔离性，就可能发生脏读、不可重复读、幻读问题

脏读：一个事务读取了另一个事务改写但还未提交的数据，如果这些数据回滚，则读到的数据无效

不可重复读：在同一个事务中，多次读取同一个数据返回的结果不同

幻读：一个事务读取了几行记录后，另一个事务插入了一些记录，后来的查询中前一个事务就会发现有些原来没有的记录

事务一旦完成提交，引起的数据变化将是永久性的，即使数据库发生故障也不应该对其有任何影响

最低的隔离级别，允许读取尚未提交的数据变更，可能会导致脏读、幻读或不可重复读

允许读取并发事务已经提交的数据，可以阻止脏读，但是幻读或不可重复读仍有可能发生

对同一字段的多次读取结果都是一致的，除非数据是被本身事务自己所修改，可以阻止脏读和不可重复读，但幻读仍有可能发生

最高的隔离级别，完全服从ACID的隔离级别。所有的事务依次逐个执行，这样事务之间就完全不可能产生干扰，也就是说，该级别可以防止脏读、
不可重复读以及幻读。但是这将严重影响程序的性能。通常情况下也不会用到该级别。

在数据库中保留“版本”字段，跟随数据同时读写，以此判断数据版本。版本可能是时间戳或状态字段。
UPDATE table SET status = 1 WHERE id=1 AND status = 0;
版本检查能够作为“乐观锁”，解决更新丢失的问题。

共享锁与排他锁

临时锁与持续锁

表级锁与行级锁

悲观锁与乐观锁

三级加锁协议

两段锁协议（2-phase locking）

show variables like 'slow_query%';

方式一（临时，重启失效）：
------------------------------------------------------------
mysql>set global slow_query_log=ON
mysql>set global long_query_time=3600
mysql>set global log_querise_not_using_indexes=ON

show status like 'slow_queries';

show variables like 'profiling%';

set profiling=1; 或者 set profiling=ON;

set profiling=0; 或者 set profiling=OFF;

显示当前执行的语句和时间

id代表执行select子句或操作表的顺序

simple：简单的select查询,查询中不包含子查询或union查询
primary：查询中若包含任何复杂的子部分,最外层查询则被标记为primary
subquery：在select 或where 列表中包含了子查询
derived：在from列表中包含的子查询被标记为derived,mysql会递归这些子查询,把结果放在临时表里
union：做第二个select出现在union之后,则被标记为union,若union包含在from子句的子查询中,外层select将被标记为derived
union result：从union表获取结果的select

显示一行的数据时关于哪张表的

system：表只有一行记录,这是const类型的特例,平时不会出现
const：表示通过索引一次就找到了,const即常量,它用于比较primary key或unique索引,因为只匹配一行数据,所以效率很快,如将主键置于where条件中,mysql就能将该查询转换为一个常量 
eq_ref：唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配,常见于主键或唯一索引扫描
ref：非唯一性索引扫描,返回匹配某个单独值的行,它可能会找到多个符合条件的行,所以他应该属于查找和扫描的混合体
range：检索给定范围的行,使用一个索引来选择行,如where语句中出现了between,<,>,in等查询,这种范围扫描索引比全表扫描要好，因为它只需要开始于索引的某一点，而结束于另一点，不用扫描全部索引。
index：index类型只遍历索引树,这通常比All快,因为索引文件通常比数据文件小,index是从索引中读取,all从硬盘中读取
all：全表扫描,是最差的一种查询类型

显示可能应用在这张表中的索引,一个或多个,查询到的索引不一定是真正被用到的

实际使用的索引,如果为null,则没有使用索引,因此会出现possible_keys列有可能被用到的索引,但是key列为null,表示实际没用索引

表示索引中使用的字节数,而通过该列计算查询中使用的索引长度,在不损失精确性的情况下,长度越短越好,key_len显示的值为索引字段的最大可能长度,并非实际使用长度,即,key_len是根据表定义计算而得么不是通过表内检索出的

显示索引的哪一列被使用了,如果可能的话是一个常数,哪些列或常量被用于查找索引列上的值

根据表统计信息及索引选用情况,大只估算出找到所需的记录所需要读取的行数

Using filesort：说明mysql会对数据使用一个外部的索引排序,而不是按照表内的索引顺序进行读取,mysql中无法利用索引完成的排序操作称为"文件排序"
Using temporary ：使用了临时表保存中间结果,mysql在对查询结果排序时使用临时表,常见于order by和分组查询group by
Using index：表示相应的select操作中使用了覆盖索引（Covering Index），避免访问了表的数据行，效率不错。如果同时出现using where，表明索引被用来执行索引键值的查找；如果没有同时出现using where，表明索引用来读取数据而非执行查找动作。 其中的覆盖索引含义是所查询的列是和建立的索引字段和个数是一一对应的
Using where：表明使用了where过滤
Using join buffer：表明使用了连接缓存,如在查询的时候会有多次join,则可能会产生临时表
impossible where：表示where子句的值总是false,不能用来获取任何元祖。如下例：select * from t1 where id='1' and id='2';
select tables optimized away：在没有GROUPBY子句的情况下，基于索引优化MIN/MAX操作或者对于MyISAM存储引擎优化COUNT(*)操作，不必等到执行阶段再进行计算，查询执行计划生成的阶段即完成优化。
distinct：优化distinct操作，在找到第一匹配的元组后即停止找同样值的动作，即一旦MySQL找到了与行相联合匹配的行，就不再搜索了

尽量使用index方式排序，避免使用filesort方式

order by满足两种情况会使用index排序：①、order by语句使用索引最左前列，②、使用where子句与order by子句条件列组合满足索引最左前列

双路排序：MySQL4.1之前，两次扫描磁盘

单路排序：从磁盘读取查询需要的所有列，按照order by列在buffer对它们进行排序，然后扫描排序后的列进行输出，效率更高一点，但是它会使用更多的空间，
因为它把每一行都保存在内存中了

优化策略: 增大sort_buffer_size参数的设置、增大max_length_for_sort_data参数的设置

实质是先排序后进行分组，遵照索引键的最佳左前缀，当无法使用索引列时，增大sort_buffer_size+max_length_for_sort_data参数的设置

将字段很多的表拆分成多个表

增加中间表

加载数据库驱动

获取链接对象

进行数据库操作（增删查改）

释放资源：关闭结果集ResultSet、语句对象Statement、链接对象Connection

DirverManager类

Connection接口

Statement接口

PreparedStatement接口

ResultSet接口

CallableStatement接口

DatabaseMetaData接口

ResultSetMetadata接口

德鲁伊，带有监控功能的数据库连接池

“光”，号称时性能最好的数据库连接池

MySQL优化概述

MySQL优化方案

优化数据库的方法

事务就是被绑定在一起作为一个逻辑工作单元的SQL 语句分组，如果任何一个语
句操作失败那么整个操作就被失败， 以后操作就会回滚到操作前状态，或者是上
有个节点。为了确保要么执行，要么不执行， 就可以使用事务。要将有组语句作
为事务考虑，就需要通过ACID 测试，即原子性， 一致性， 隔离性和持久性。