首页  思维导图  详情

编程开发入行学习路线思路分享

2022-10-27 18:07:41   0  举报





AI智能生成

编程开发入行学习路线思路分享

编程

编程入门

编程开发

作者其他创作

大纲/内容

学习路线

编程基础

JAVA语言

语言基础

基础语法

面向对象

接口

容器

异常

泛型

反射

注解

I/O

图形化（Swing）

JVM

类加载机制

字节码执行机制

JVM内存模型

GC垃圾回收

JVM性能监控及故障定位

JVM调优

多线程、并发

并发编程基础

线程池

锁

并发容器

原子类

JUC并发工具类

数据接口和算法

数据结构

字符串

数组

链表

堆、栈、队列

二叉树

哈希

图

算法

排序

查找

思想

贪心

分治

动态规划

回溯

计算机网络

数据链路层ARP协议

IP协议、ICMP协议

TCP、UDP协议

DNS/HTTP/HTTPS协议

Session/Cookie

SQL/数据库

SQL语句

SQL语句优化

事务、隔离级别

索引

锁

操作系统

进程、线程

并发、锁

内存管理和调度

I/O原理

设计模式

单例

工厂

代理

模板方法

观察者

适配器

责任链

建造者

研发工具

集成开发环境

Eclipse

IDE

VSCode

Linux系统

常用命令

shell脚本

项目管理/构建工具

Maven

Gradle

代码管理工具

SVN

Git

应用框架

后端

Spring家族框架

Spring

IOC

AOP

SpringMVC

SpringBoot

自动配置、开箱即用

整合WEB

整合数据库

整合权限

Shiro

Spring Security

整合中间件

Redis、MQ、RPC框架、NIO框架

服务器软件

Web服务器

Nginx

应用服务器

Tomcat

Jetty

中间件

缓存

Redis

5大基础数据类型

事务

消息通知

管道

持久化

集群

消息队列

RocketMQ

RabbitMQ

Kafka（大数据）

RPC框架

Dubbo

gRPC（谷歌）

Thirft

SpringCloud

Netty

数据库框架

ORM框架

MyBatis

Hibernate

JPA

连接池

Druid

HikariCP

C3P0

分库分表

MyCat

Sharding-JDBC(沙丁)

Sharding-Sphere

搜索引擎

ElasticSearch

Solr

分布式/微服务

服务发现/注册

Eureka

Consul

Zookeeper

Nacos（阿里）

网关

Zuul

Gateway

服务调用（负载均衡）

Ribbon

Feign

熔断/降级

Hystrix

配置中心

Config

Apollo

Nacos

认证和鉴权

Spring Security

OAuth2

SSO单点登录

分布式事务

JTA接口

Atomikos组件

2PC、3PC

XA模式

TCC模式

tcc-transaction

ByteTCC

EasyTransaction

Seata

SAGA模式

ServiceComb

Seata

LCN模式

tx-lcn

任务调度

Quartz

Elastic-Job

链路追踪和监控

ZipKin

Sleuth

Skywalking

日志分析

ELK

ElasticSearch

Logstash

Kibana

前端

基础套餐

三大件

Html

JavaScript

CSS

基础库

JQuery

Ajax

模板框架

JSP/JSTL

Thymeleaf

Freemarker

Velocity

组件化框架

Vue

React

Angular

Node

运维知识

代码质量检查

sonar

日志分析

ELK

ElasticSearch

Logstash

Kibana

虚拟化/容器化

容器技术

Docker

容器编排技术

Kubernetes

Swarm

CDN加速

持续集成/持续部署(CI/CD)

Jenkins

开发层

dubbo

RPC远程过程调用

zookeeper

rocketMQ

主流MQ：Kafka、RocketMQ、RabbitMQ

安装（单机）

环境：Linux64bit、JDK1.8+、maven3.2.x、free Disk4G

1.下载安装包

2.安装包上传至服务器

解压

unzip rocketmq-all-4.4.0-bin-release.zip

解压文件重名命

mv  rocketmq-all-4.4.0-bin-release /usr/local/rocketmq

删除压缩包及旧解压包

3.配置RocketMQ的环境变量（非必需步骤）

vi /etc/profile

path

NAMESRV_ADDR可以不在此绑定，但必须在启动broker时加上“-n 服务器IP:端口”以绑定nameserver，本次实验就直接绑定以简化操作，9876是nameserver的默认端口

source /etc/profile

4.创建rockeMQ存储文件所需的目录

存储mq日志

mkdir -p /data/rocketmq/logs

存储mq数据文件

mkdir -p /data/rocketmq/store

存储mq消息信息

mkdir -p /data/rocketmq/store/commitlog

存储mq消息的索引数据

mkdir -p /data/rocketmq/store/index

mkdir -p /data/rocketmq/store/consumequeue

存储checkpoint文件

mkdir -p /data/rocketmq/store/checkpoint

5.Broker节点属性配置

Broker节点的配置文件在/rocketmq/conf下面，有三种配置方式

2m-noslave：多Master模式

2m-2s-sync：多Master多Slave模式，同步双写

2m-2s-async：多Master多Slave模式，异步复制

单节点配置

进入任意一个配置目录修改broker-a.properties

vi /usr/local/rocketmq/conf/2m-noslave/broker-a.properties

broker-a.properties具体配置

6.日志配置

切换到mq配置目录

cd /usr/local/rocketmq/conf

批量替换日志配置文件中存储路径

sed -i 's#${user.home}/logs/rocketmqlogs#/data/rocketmq/logs#g' *.xml

7.修改启动文件内存配置（rocketMQ对内存要求较高，最少1G）

vi /usr/local/rocketmq/bin/runbroker.sh

JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn512m"

vi /usr/local/rocketmq/bin/runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn512m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

8.启动 namesrv

nohup sh ./mqnamesrv &

关闭namesrv

sh ./mqshutdown namesrv

9.启动broker

nohup sh ./mqbroker -c /usr/local/rocketmq/conf/broker.properties &

关闭broker

sh ./mqshutdown broker

10.安装控制台

修改配置

rocketmq.config.namesrvAddr=rocketmq:9876;rocketmq-1:9876

rocketmq.config.isVIPChannel=false

打包，启动服务

nohup java -jar rocketmq-console-ng-1.0.1.jar &

架构集群

nameserver

1.注册中心，最初使用的是zookeeper，后来阿里自己定制的

2.Broker向它注册路由信息，同时Client向其获取路由信息

3.NameServer本身是没有状态的，并且多个NameServer直接并没有通信，可以横向扩展多台，Broker会和每一台NameServer建立长连接

broker

1.Broker是RocketMQ的核心，提供了消息的接收，存储，拉取等功能

2.一般都需要保证Broker的高可用，所以会配置Broker Slave，当Master挂掉之后，Consumer然后可以消费Slave

3.Broker分为Master和Slave，一个Master可以对应多个Slave，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义

4.BrokerId为0表示Master，非0表示Slave

producer

consumer

常用命令

创建topic

sh ./mqadmin updateTopic -t topic_delivery_schedule -c cluster-1 -n localhost:9876

删除topic

sh ./mqadmin deleteTopic -t topic_delivery_schedule -c cluster-1 -n localhost:9876

创建订阅组

子主题

Spring

Spring是一个轻量级的控制反转和面向切面编程的软件设计层面的框架，可以将应用分层，开发者可以自主选择组件

Servlet

DispatcherServlet

IOC(容器本质是一个map对象 Map iocMap = new HashMap();)

控制反转

依赖注入DI

@Resource  是基于name来判断

@Autowire  是基于类型来判断的

AOP（动态代理,实现面向切面编程）

作用域

子主题

mysql

安装（Linux环境 CentOS6、mysq-5.6.26）

1.将安装压缩包上传至服务器/usr/local目录下

2.卸载虚拟机自带的mysql相关包

2.1.查找相关包

rpm -qa | grep mysql

2.2.卸载

rpm -e --nodeps 包名

2.3.查找之前老版本mysql的目录

find / -name mysql

2.4.删除相关目录

3.新增mysql 用户组添加mysql用户，并将mysql用户添加至用户组

groupadd mysql

useradd -r -g mysql mysql

4.创建数据库所需目录

mkdir -p /data/mysql/data

mkdir -p /data/mysql/logs

mkdir -p /data/mysql/temp

5.添加环境变量使mysql命令生效(非必须项)

编辑环境变量

vi /etc/profile

刷新文件

source /etc/profile

6.安装mysql依赖包（防止编译安装mysql是报错）安装依赖包时如有询问，一直 y

yum install make cmake gcc gcc-c++ bison bison-devel ncurses ncurses-devel antoconf automake

7.解压

tar -zxvf mysql-5.6.26.tar.gz

8.mysql安装前的属性设置

8.1.进入解压后目录

cd mysql-5.6.26

8.2.执行检查命令

9.编译

make

10.安装

make install

11.清除安装文件

make clean

12.将 /usr/local/mysql 目录和 /data/mysql 目录的权限设为 mysql用户所有

chown -Rf mysql:mysql /usr/local/mysql

chown -Rf mysql:mysql /data/mysql

13.进入mysql安装/usr/local/mysql 目录执行数据库的初始化脚本并生成my.cnf文件。   用于mysql自带的数据库和表的初始化。此时将/data/mysql/data目录作为数据存放的目录

cd /usr/local/mysql

scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/data/mysql/data

14.将my.cnf 文件的所属权限改成 mysql用户

chown -Rf mysql:mysql /usr/local/mysql/my.cnf

在默认系统中 etc/目录下也会有一个 my.cnf文件，当mysql服务启动时会默认先读取/etc/my.cnf 文件，如果/etc/my.cnf 不存在则会到 mysql的安装目录下读取 my.cnf文件，因此需将 /etc/my.cnf 文件改成其他名字，否则会干扰到mysql安装目录下的 my.cnf文件，但是在生产环境上建议使用 /etc/my.cnf 文件，这里也是用 /etc/my.cnf 步骤如下：

（1）编辑my.cnf文件将所有内容删除

（2）my.cnf内容

（3）复制my.cnf到 /etc目录下

cp /usr/local/mysql/my.cnf /etc

15.复制mysql启动服务脚本至 /etc/init.d目录下

cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql

17.启动mysql 服务

service mysql start

16.设置mysql数据库root用户本地登录密码

cd /usr/local/mysql/bin

./mysqladmin -u root password '111'

18.用户名密码登录

mysql -uroot -p111

19.设置mysql 服务开机自动开启（非必要项）

chkconfig mysql on

20.三方客户端无法连接mysql原因

检查mysql是否启动

netstat -nalp | grep "3306"

检查防火墙是否关闭

永久关闭

chkconfig iptables off

临时关闭

service iptables stop

登录mysql，在mysql下输入如下命令（二选一）

用密码111从任何主机连接到MYSQL服务器

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '111' WITH GRANT OPTION;

用户root从指定IP为10.1.1.123的主机连接到MYSQL服务器，并使用111作为登录密码

主从复制（数据同步）

1.修改master的my.ini配置文件

67行mysql后

子主题

读写分离

存储过程

含义

存储过程和函数（类似于JAVA中的方法）

存储过程是一组预先编译好的SQL语句集合，可以理解成批处理语句但要比批处理语句功能要强。

提高代码代码的重用性，简化操作，减少编译次数和服务器的连接次数，提高了效率

创建语法

1.参数列表包含三部分举例： IN stuname VARCHAR(20) 

1.参数模式

IN：表示该参数可以作为入参（形参）

OUT：该参数可以作为返参（返回值）

INOUT：该参数既可以作为形参又可以作为返回值

2.参数名

3.参数类型

2.如果存储过程体仅仅只有一条SQL语句，BEGIN  END 可以省略

存储过程体中的每条SQL语句必须加分号，存储过程的结尾可以使用DELIMITER重新设置

语法：DELIMITER  结束标记（例：DELIMITER $）

使用DELIMITER创建结束标记必须要在mysql客户端使用，sqlyong。。。之类的可视化客户端创建仅支持当前存过使用

调用语法  

1.空参列表存储过程   CALL 存储过程名();

/*创建结束标识*/ DELIMITER $ /*创建空参存储过程*/ CREATE PROCEDURE test1() BEGIN INSERT INTO admin(username,PASSWORD) VALUES('name1','pass1'),('name2','pass2'),('name3','pass3'); END $ /*调用空参存储过程*/ CALL test1()

2.带IN参列表存储过程   CALL 存储过程名(IN 参数1，IN 参数2);

/*创建存储过程实现校验用户是否登录*/ DELIMITER $ CREATE PROCEDURE test2(IN username VARCHAR(20),IN PASSWORD VARCHAR(10)) BEGIN DECLARE result INT DEFAULT 0;/*声明变量并设置初始化值为0*/ SELECT COUNT(0) INTO result /*将查询结果赋值给变量result*/ FROM admin WHERE admin.username = username AND admin.password = PASSWORD; SELECT IF(result>0,'成功','失败') AS result; END $ /*调用入参存储过程*/ CALL test2('name1','pass2')

3.带OUT参数列表存储过程 CALL 存过名(IN 参数1，@ 变量);

/*==创建带OUT列表的存储过程实现根据用户名获取密码===*/ DELIMITER $ CREATE PROCEDURE test3(IN un VARCHAR(10),OUT pw VARCHAR(10)) BEGIN SELECT DISTINCT admin.password INTO pw FROM admin WHERE admin.username = un; END $ /调用存储过程，接收存过返回值/ CALL test3('name1',@pw); /查询返回值/ SELECT @pw;

/*======创建多个带OUT列表的存储过程实现根据用户名获取用户名和密码=====*/ DELIMITER $ DROP PROCEDURE IF EXISTS test3$ CREATE PROCEDURE test3(IN un VARCHAR(10),OUT pw VARCHAR(10),OUT uname VARCHAR(10)) BEGIN SELECT DISTINCT admin.password,admin.username INTO pw,uname FROM admin WHERE admin.username = un; END $ /调用存储过程，接收存过返回值/ CALL test3('name1',@pw,@uname)$ /查询返回值/ SELECT @pw,@uname;

4.带INOUT模式参数的存储过程

/*===创建带inout模式参数的存储过程====*/ DELIMITER $ CREATE PROCEDURE test4(INOUT a INT(5), INOUT b INT(5)) BEGIN SET a = a*2; SET b = b*2; END $ /*调用存过*/ SET @n = 10;#变量1 SET @m = 20;#变量2 CALL test4(@n,@m);#inout参数的存过调用需要先声明赋值变量 SELECT @n,@m;

删除存储过程语法

DROP PROCEDURE 存储过程名

maven

lucene&solr

非结构化数据查询

1.顺序扫描

2.全文检索

Lucene简单实例

创建索引

1.创建一个IndexWriter对象

1.1.指定索引库存放位置Directory对象

1.2.指定一个Analyzer分析器对文档内容进行分析

StandardAnalyzer分析器

IKAnalyzer分析器

搜索索引时使用的分析器要和创建索引时使用的分析器一致

1.3.创建IndexWriterConfig配置对象（配置版本、分析器）

1.4.IndexWriter对象添加存放位置、配置对象

2.创建一个Document对象

3.创建一个Field对象，将filed添加到Document对象中

4.使用indexwriter将document对象写入索引库，此过程进行索引创建。并将索引和document对象写入索引库。

5.关闭indexwriter对象

查询索引

1.创建一个Directory对象，也就是索引库存放的位置

2.创建一个IndexReader对象，需要指定Directory对象

3.创建一个IndexSearcher对象，需要指定IndexReader对象

4.创建一个TermQuery对象,指定查询的域和查询的关键词

5.执行查询（indexSearcher.search）

6.返回查询结果，遍历查询结果并输出

7.关闭IndexReader

删除索引（删除所有、根据条件删除）

修改索引（本质是先删后增）

索引库查询

Query的子类查询（使用对象查询）

1.查询所有MatchAllDocsQuery

2.精准查询TermQuery

3.根据数值范围查询NumericRangeQuery

4.组合条件查询BooleanQuery

QueryParser查询（使用语法查询）

1.QueryParser条件解析的对象查询

2.MultiFieldQueryParser解析多默认域查询

solr实现电商搜索

1.solr介绍

2.下载、安装

solr目录结构

bin：solr的启动脚本（启动内嵌jetty服务器，一般用不上）

contrib：solr的一些贡献软件/插件，用于增强solr的功能

dist：包含build过程中产生的war包和jar文件以及相关的依赖文件

docs：API文档

example：solr工程例子目录

example/solr：包含了默认配置信息的solr的core目录

example/multicore：包含了solr的multicore的多个core目

example/webapps：solr运行的实例工程

license：solr相关的许可信息

运行环境：solr4.10.3，jdk1.7.0+，tomcat7.0+

solr整合tomcat，搭建solr服务器

1.准备一个新的tomcat实例和solr包

2.将sol包中example/webapps下的solr.war拷贝到tomcat的webapps下

3.解压war包，删除源文件。将example/lib/ext文件夹下的jar包拷贝到解压后项目的lib文件夹下

4.配置索引库位置

1.新增solrhome文件夹

2.example/solr下的文件拷贝到solrhome文件夹中

3.修改项目中web.xml文件中索引库配置路径（43行）默认值，指向solrhome

solrhome/collection1/conf/schema.xml  域配置文件，如果使用自定义的域，需要在该文件中配置

1.普通域：field

2.通配域：dynamicField

3.拷贝域：copyField

安装中文分词器IKAnalyzer

1.把IKAnalyzer2012FF_u1.jar放到solr/WEB-INF/lib下

2.复制IKAnalyzer的配置文件、自定义词典、停用词典到solr/WEB-INF/classes下

3.在schema.xml添加一个自定义的fieldType <fieldType name="text_ik" class="solr.TextField">      <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/> </fieldType>

4.定义field,指定field的type属性指向text_ik <field name="title_ik" type="text_ik" indexed="true" stored="true"/> <field name="content_ik" type="text_ik" indexed="true" stored="false" multiValued="true"/> <dynamicField name="_ikt*" type="text_ik" indexed="true" stored="true"/> <dynamicField name="_ikc*" type="text_ik" indexed="true" stored="false" multiValued="true"/>

Solr Admin

solr后台管理界面介绍

通过管理页面实现对索引库的增删改查

solr后台管理界面批量导入

1.把solr-4.10.3/dist目录下dataimporthandler相关jar，数据库驱动导入solrhome/collection1/lib下

2.配置solrhome/collection1/conf/solrconfig.xml文件，添加一个导入的requestHandler <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler"> <lst name="defaults"> <str name="config">data-config.xml</str> </lst> </requestHandler>

3.创建data-config.xml，在solrconfig.xml同级目录下 <?xml version="1.0" encoding="UTF-8" ?>   <dataConfig>    <dataSource type="JdbcDataSource"   driver="com.mysql.jdbc.Driver"  url="jdbc:mysql://192.168.5.249:3307/test" user="root"   password="zgshfp"/>    <document>    <entity name="product" query="SELECT item_id, item_name, packing_list, market_price, ad, support_poor_attr FROM item ">  <field column="item_id" name="id"/>  <field column="item_name" name="product_name"/>  <field column="packing_list" name="product_catalog_name"/>  <field column="market_price" name="product_price"/>  <field column="ad" name="product_description"/>  <field column="support_poor_attr" name="product_picture"/> </entity> </document>    </dataConfig>

4.设置业务系统域  <field name="product_name" type="text_ik" indexed="true" stored="true"/> <field name="product_price" type="float" indexed="true" stored="true"/> <field name="product_description" type="text_ik" indexed="true" stored="false" /> <field name="product_picture" type="string" indexed="false" stored="true" /> <field name="product_catalog_name" type="string" indexed="true" stored="true" />  <field name="product_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/> <copyField source="product_name" dest="product_keywords"/> <copyField source="product_description" dest="product_keywords"/>

3.使用solrJ管理索引库

导入依赖包

使用solrJ连接solr服务器

单机版SolrServer solrServer = new HttpSolrServer("http://localhost:8080/solr");

通过solrJ进行索引的增、删、改、查

solrJ查询要点

1.创建查询条件对象SolrQuery solrQuery = new SolrQuery();子类的子类，使用方法最全

2.ModifiableSolrParams的set和add的区别

2.1.add方法是将给定值添加到任何现有名称

2.2.set方法用给定的名称替换任何现有的参数。如果val==null，则从params中完全删除key

2.3.多field查询时要用add

3.高亮设置

3.1.设置关键词solrQuery.setQuery("测试");

3.2.设置默认域

3.3.打开高亮

3.4.指定高亮域

3.5.设置前后缀及样式

4.执行查询结果QueryResponse response = solrServer.query(solrQuery);

4.1.获取文档结果集SolrDocumentList docs = response.getResults();

4.2.获取高亮结果集Map<String, Map<String, List<String>>> highlighting = response.getHighlighting();

环境搭建

1.常规的spring框架整合

2.配置SolrJ <bean id="solrServer" class="org.apache.solr.client.solrj.impl.HttpSolrServer">         <constructor-arg value="http://192.168.5.17:9080/solr"/> </bean>

Elastic Stack(ELK)

安装

Elasticsearch 6.2.4

1.环境准备：CentOS6、JDK1.8

2.下载地址

3.解压安装包到/usr/local下

tar -zxvf elasticsearch-6.2.4.tar.gz

4.创建es用户组和用户

groupadd es

useradd elastic -g es -p 123456

5.将elasticsearch-6.2.4目录权限赋给elastic用户

chown -R elastic:es elasticsearch-6.2.4

6.使用elastic用户启动

su elastic

bin/elasticsearch

启动过程中常见问题和解决方式

7.配置elasticsearch允许跨域访问

vi elasticsearch.yml

http.cors.enabled: true http.cors.allow-origin: "*"

network.host: 192.168.110.129

Elasticsearch-Head

1.环境准备：CentOS6、git、nodejs

安装nodejs

2.从git上下载elasticsearch-head的zip包并解压

unzip elasticsearch-head-master.zip

3.安装elasticsearch-head依赖包

npm install -g grunt-cli

npm install cnpm -g --registry=https://registry.npm.taobao.org

1.进入到elasticsearch-head插件目录下

cnpm install

2.修改Gruntfile.js 允许所有ip访问

vi Gruntfile.js

分支主题

3.修改app.js elasticsearch-head默认连接地址改为es服务器地址

vi _site/app.js

分支主题

4.允许9100端口对外访问

5.启动elasticsearch

6.启动elasticsearch-head插件

cd /usr/local/elasticsearch-6.2.4/elasticsearch-head/node_modules/grunt/bin/

./grunt server

Kibana

解压缩

tar -xzvf kibana-6.2.4-linux-x86_64.tar.gz

修改kibana的配置文件

vim /usr/local/kibana/config/kibana.yml

server.host: 192.168.110.129

elasticsearch.url: http://192.168.110.129:9200

开启5601端口，重启防火墙

启动kibana

nohup ./kibana &

Beat

FileBeat

1.解压

tar -xvf filebeat-6.2.4-linux-x86_64.tar.gz

MetricBeat）

倒排索引

也叫反向索引，正向索引是通过key找value，反向索引则是通过value找key

倒排索引建立的是分词（Term）和文档（Document）之间的映射关系，在倒排索引中，数据是面向词（Term）而不是面向文档的

elasticsearch在建立倒排索引时会使用标准化规则（normalization）,会对拆分出的各个单词进行相关处理，以提升搜索时能够搜索到关联文档的概率

分词器

概念

从一串文本中切分出一个个词条，并对每个词条进行标准化处理

Analysis 和 Analyzer

Analysis：文本分析是把全文本转换一系列单词(term/token)的过程，也叫分词。Analysis是通过Analyzer来实现的。当一个文档被索引时，每个Field都可能会创建一个倒排索引（Mapping可以设置不索引该Field）。倒排索引的过程就是将文档通过Analyzer分成一个一个的Term,每一个Term都指向包含这个Term的文档集合。当查询query时，Elasticsearch会根据搜索类型决定是否对query进行analyze，然后和倒排索引中的term进行相关性查询，匹配相应的文档。

分析器（analyzer）组成

character filters

字符过滤器

在一段文本进行分词之前，先进行预处理，比如说最常见的就是，过滤html标签（hello --> hello），& --> and（I&you --> I and you）

tokenizers

分词器

英文分词可以根据空格将单词分开,中文分词比较复杂,可以采用机器学习算法来分词

Token filters

Token过滤器

将切分的单词进行加工。大小写转换（例将“Quick”转为小写），去掉词（例如停用词像“a”、“and”、“the”等等），或者增加词（例如同义词像“jump”和“leap”）

es的内置分词器

Standard Analyzer

默认分词器，按词切分，小写处理，支持中文单字切分

Simple Analyzer

按照非字母切分(符号被过滤), 小写处理

Stop Analyzer

小写处理，停用词过滤(the,a,is)

Whitespace Analyzer

按照空格切分，不转小写，不支持中文

Keyword Analyzer

不分词，直接将输入当作输出

Patter Analyzer

正则表达式，默认\W+(非字符分割)

Language

提供了30多种常见语言的分词器，针对特定语言，不支持中文

Customer Analyzer

自定义分词器

配置中文分词器（IK）

下载地址（要与es版本保持一致）

https://github.com/medcl/elasticsearch-analysis-ik/releases

解压缩

unzip ./elasticsearch-analysis-ik-6.2.4.zip

用elastic用户在es的插件目录下创建ik文件夹

su elastic

cd /usr/local/elastic/elasticsearch-6.2.4/plugins/

mkdir -p ik

将解压后的IK分词器插件移动到新建的ik目录下，并授权给elastic用户

mv elasticsearch/* elasticsearch-6.2.4/plugins/ik/

chown -R elastic:es elasticsearch-6.2.4/plugins/ik/

重启es时日志出现loaded plugin [analysis-ik]说明IK分词器插件配置成功

elasticsearch详解

RESTful API操作

增删改查

MultiGet实现批量获取文档

Bulk实现批量操作文档

DSL搜索

分页

from + size 浅分页

size 结果数，默认10

from 跳过开始结果数，默认0

scroll 深分页

search_after 深分页

结构化查询

查询

match_all查询所有文档

match查询标准查询

过滤

term过滤：主要用于精确匹配那些值，比如数字，日期，布尔值或 not_analyzed 的字符串(未经分析的文本数据类型),terms过滤可以指定多个匹配条件

range过滤：允许我们按照指定范围查找一批数据

exists和missing过滤：可以用于查找文档中是否包含指定字段或没有某个字段（SQL 中的IS_NULL）。主要针对已经查询出的一批数据来，但是想区分某个字段是否存在时候使用

bool过滤：可以用来合并多个过滤条件查询结果的布尔逻辑，它包含以下操作符

must：多个查询条件的完全匹配，相当于and

must_not：多个查询条件相反匹配，相当于not

should：至少有一个查询条件匹配，相当于or

带过滤的查询

mapping（映射）

映射类型

动态映射

字段和属性不需要预先事先定义。在你添加文档的时候，就会自动添加到索引，这个过程不需要事先在索引进行字段数据类型匹配之类，他会自己推断数据类型，动态映射是可以配置的。

显示映射

和动态映射相反，显示映射需要我们在索引映射中进行预先定义。

更新当前映射

一般我们不会改变当前的索引的映射类型和字段，因为这样，意味着废弃已经索引的文档。我们应该根据映射创建新的索引并重新索引数据

内置类型

string类型

text（会进行分析【分词，建立倒排索引】），keyword【不会分析，只有完全匹配才能搜索到】，（string类型在es5后已经废弃了）

数字类型

long、integer、short、byte、double、float

日期类型

date（可以解析date和datetime（时分秒）等日期）

bool类型

boolean（可以解析传递过来的值，True/False/Yes/No等都能解析成bool类型）

二进制数据类型

binary（不会被检索）

复杂数据类型

数组

无需专门的数据类型

对象数据类型

object，单独的JSON对象

嵌套数据类型

nested，关于JSON对象的数组

geo类型（地理数据类型）

地理点数据类型

geo_point，经纬点

地理形状数据类型

geo_shape

专业数据类型

IPv4数据类型

完成数据类型：completion

单词计数数据类型:token_counts

文档

文档在大多数应用中是多数实体或对象可以被序列化为包含键值对的 JSON 对象

文档元数据三个必要元素

_index

文档在哪存放

_type

文档表示的对象类别

_id

文档唯一标识

索引文档

通过使用 index API ，文档可以被索引 —— 存储和使文档可被搜索

全文搜索

相关性

分词

JAVA客户端使用

低级版

高级版

运维层

Linux

1.CentOS6安装

安装教程

网络配置

NAT模式下配置静态IP

主机ping不通虚拟机

安装sz、rz

yum -y install lrzsz

远程端口检查telnet

telnet ip port

列出telnet相关的安装包

yum list telnet*

安装telnet服务

yum install telnet-server

安装telnet客户端

yum install telnet.*

Nginx

基本概念

简介

1.是一个高性能的HTTP和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务。

2.是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器

3.其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。

反向代理

1.正向代理

VPN 通俗的讲就是一种中转服务，当我们电脑接入 VPN 后，我们对外 IP 地址就会变成 VPN 服务器的公网 IP，我们请求或接受任何数据都会通过这个VPN 服务器然后传入到我们本机。

2.反向代理

负载均衡

动静分离

环境搭建

安装、命令、配置文件

安装依赖

yum install gcc

yum install pcre-devel

yum install zlib zlib-devel

yum install openssl openssl-devel

解压安装包

tar -zxvf nginx-1.16.1.tar.gz

编译准备

cd nginx-1.16.1/

./configure --prefix=/etc/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid

编译安装

make

make install

常用命令

测试配置文件

./nginx -t

启动命令

./nginx

停止命令

./nginx -s stop

重启命令

./nginx -s reload

配置实例

反向代理实例

负载均衡实例

动静分离实例

高可用集群配置

Nginx原理

Docker

docker简介

Docker 是一个开源的应用容器引擎

核心概念

Docker主机（Host）

安装了docker程序的机器，Docker直接安装才操作系统上

Docker客户端（Client）

连接Docker主机进行操作

Docker仓库（Registry）

用来保存各种打包好的软件镜像

Docker镜像（Images）

软件打包好的镜像，放在docker仓库中

Docker容器（Container）

镜像启动后的实例称为一个容器，容器是独立运行的一个或一组应用

使用Docker步骤

1）安装docker

2）去Docker仓库中找到软件对应的镜像

3）使用Docker运行镜像,这个镜像就会生成一个docker容器

4）对容器的启动停止就是对软件的启动停止

安装

1.CentOS操作系统内核版本要高于3.10

uname -r

升级内核

yum update

2.安装docker

yum install docker

3.启动docke

systemctl start docker

开机自启

systemctl enable docker

4.关闭docker

systemctl stop docker

service docker stop

常用操作

镜像操作

Docker Hub网址

镜像检索： 

docker search 关键字

镜像拉取：

docker pull 镜像名:tag

列出本地镜像：

docker images

删除本地镜像：

docker rmi

容器操作

tomcat

1.搜索镜像

docker search tomcat

2.拉取镜像

docker pull tomcat:8.5.54-jdk8

3.根据镜像启动容器

docker run --name one_ser -d tomcat:8.5.54-jdk8

4.查看运行中的容器

docker ps

查看所有容器

docker ps -a

5.停止运行中的容器

docker stop 容器ID

6.启动容器

docker start 容器ID

7.删除一个容器

docker rm 容器ID

8.启动时将主机端口映射到容器端口

docker run  -d -p 8080:8080 tomcat:8.5.54-jdk8

-d：后台运行

-p：端口映射

8080:8080：主机端口:容器端口

9.查看容器日志

docker logs 容器ID

mysql

底层原理

Docker是怎么工作的

Docker是一个Client-Server结构的系统，Docker的守护进程运行在宿主机上。通过Socket从客户端访问

DockerServer接收到DockerClient的指令后，就会执行这个命令

JDK

JRE

JVM

类加载器(ClassLoader)

子主题

Redis

安装（Linux环境下）

单机安装

1.Linux下安装gcc环境，redis是C语言编写，需要在官网下载源码进行编译，编译依赖gcc环境

2.解压安装包 tar -zxvf /file 完成解压安装程序

2.1.安装 make PREFIX=/安装路径 install

make PREFIX=/usr/local/redis/ install

2.2复制安装包目录下的redis.conf文件到安装目录下 cp redis.conf /安装目录（和bin目录平级）， 没有.conf文件redis也可以运行，但所有的配置都是默认的

cp /usr/local/redis-4.0.14/redis.conf /usr/local/redis/

3.配置文件启动

./redis-server ../redis.conf

集群安装

配置 redis.conf

配置详解

配置redis集群时daemonize设置为yes

数据类型

String（字符串）

getset key value  先取值再赋值，返回之前的value值

incr key 递增 将指定的key的value原子性的递增1

decr key 递减相当与java中的--i。如果key不存在其初始值为0，在decr之后其值为-1

append key value 拼凑字符串

incrby key inceement 递增指定值

decrby key inceement 递减指定值

String在实际使用中大多是存储json格式的字符串

Hash（哈希）

List（列表LinkedList）

Set（集合）

zset(sorted set：有序集合)

通用命令

flushall 删除所有数据

flushdb 删除当前库中的数据

del key 删除指定key的数据返回删除数据个数

exists key 判断key是否存在

rename key newkey 给key重命名

expire key sec 设置key的有效时间,单位：秒

ttl key 查看key有效期还有多久，-1表示永久存在，-2表示已失效，过期就会删除

消息订阅与发布

subscribe channel 订阅频道

publish channel content 发布频道

psubscribe channel * 批量订阅

多数据库

持久化类型

RDB

AOF

redis.conf中通过appendonly参数开启  appendonly yes

默认的文件名是appendonly.aof，可以通过appendfilename参数修改：appendfilename appendonly.aof

主从复制

创建redis多实例（单机）。创建多个redis.conf

redis6380.conf

redis6381.conf

info replication 查看当前redis角色，默认都是master

一主二从

6380命令行配置：slaveof 127.0.0.1 6379 配从不配主，把当前库设置成端口为6379的从库

6381命令行配置：slaveof 127.0.0.1 6379 配从不配主，把当前库设置成端口为6379的从库

主库master宕机，从库角色不变，任然是slave

薪火相传

6380命令行配置：slaveof 127.0.0.1 6379

6381命令行配置：slaveof 127.0.0.1 6380

6379是6380的主库，6380是6381的主库

Jedis

远程连接时要注释掉bind

修改redis.conf文件的protected-mode no  取消保护模式

设置连接池的配置对象

抽取Jedis工具

业务层

工程模块

业务工程

basecenter

contentcenter

tradecenter

tradebasecenter

goodscenter

storecenter

pricecenter

searchcenter

usercenter

eoc

mall

mobile

组件工程

重点接口调用

购物车

添加购物车接口：mobile/shopCart/add

1.如果用户已登录，从redis中取得用户的之前加入购物车的商品数据然后合并，key值为uid

2.获取当前要加入购物车商品的库存数量，如果之前购物车中存在本次要加入的商品，将历史 商品和本次商品的库存数量相加判断是否大于库存数量

3.如果商品之前添加过购物车，本次添加只增加数量。

4.将合并后的购物车商品存入redis

订单

确认订单接口：mobile/shopCart/toOrderDetail

1.获取选中的优惠活动、优惠券、运送方式、填写的用户积分

2.区分是立即购买还是购物车结算

3.根据商品查询活动信息

4.获取优惠后商品支付总价

5.获取店铺设置运费

提交订单接口：mobile/shopCart/orderSubmit

1.核实优惠券、运送方式、积分

2.合并收货地址

3.检验商品状态

4.创建订单

4.1.检验订单(购物车)中是否存在异常商品

4.2.创建平台订单

4.2.1.存入订单基本信息

4.2.2.如果有预售存入预售信息

4.2.3.补充订单商品信息

4.2.4.把优惠券金额平均分配到各个订单中去

4.2.5.提交订单

4.2.5.1.通过mysql自定义函数获取父订单号，组装父订单数据，生成父级订单

4.2.5.2.生成子订单号，组装子订单数据，生成子订单

4.2.5.3.另存订单商品数据

4.3.添加订单运费表

4.4.创建支付订单

4.4.1.当订单类型为货到付款时，不创建支付订单

4.4.2.添加支付订单基础数据

4.4.3.生成支付订单时判断是不是预售订单，如果是生成2个结算单，一个作为定金支付，一个作为尾款用

4.5.如果是通过购物车提交，更新购物车

4.6.增加积分、优惠券等使用记录

4.7.占用商品库存

支付

微信支付

微信公众号JSAPI支付

1.微信签名信息接口：mobile/shopCart/getWeiXinJSConfig

1.1.获取微信JS配置信息

1.2.通微信的JS配置实现直接与微信JS交互，可直接使用微信JS提供的方法

2.唤醒微信公众号支付接口：mobile/shopCart/getWeiXinPayInfo

2.1.生成微信预支付订单

APP端H5支付

PC端扫码支付

退款

权限

 收藏

立即使用

网络因特网互联网知识点学习笔记总结

 收藏

立即使用

计算机网络基础学习知识框架

 收藏

立即使用

网络经济学知识点学习框架笔记

 收藏

立即使用

数据中台学习培训笔记总结

PO_830648

职业：暂无

去主页





0 条评论

下一页

为你推荐

查看更多

