图书-深入理解Linux内核网络

2018-04-23 11:07:24   79  举报





AI智能生成

《深入理解Linux内核网络》是一本关于Linux内核网络的专业书籍，它详细介绍了Linux内核网络的工作原理和实现细节。这本书涵盖了从基本概念到高级主题的全面内容，包括套接字编程、协议栈实现、网络设备驱动等。读者可以通过阅读这本书来深入了解Linux内核网络的各个方面，掌握如何编写高效的网络应用程序，以及如何优化网络性能。总之，《深入理解Linux内核网络》是一本值得一读的图书，它将为您带来宝贵的知识和技能。

读书笔记

读书笔记思维导图计算机linux内核

学习笔记

知识管理

作者其他创作

大纲/内容

4章通知链notify chain

全局介绍

用途: 内核多个子系统之间具有较强的依赖性,
其中1个子系统探测到或产生的事件, 其他子系统可能也感性趣,
linux通过通知链完成这种交互需求

举例:
当1个网口down之后,关联的路由子系统关注了这个事件,
就会通知路由子系统该事件

代码相关实现

主动方是产生事件的
notifyer_block->notify_call 回调函数是要执行的函数

接受方是链注册
notifier_chain_register()

10章帧的接收

轮询收包模式NAPI

net_rx_action() -> 关联软中断NET_RX_SOFTIRQ

轮询的总体介绍

其实它还是基于单核的思想,
是统一由net_rx_action()调用,让每个轮询poll_list队列中网卡, 去轮询收包dev->poll

1 netif_rx(skb) P226
是收包后只把包挂到队列上,并不处理

1 每个cpu有独立的softnet_data,把收到的包挂到待处理队列(backlog)就结束了
enqueue_to_backlog()函数
__skb_queue_tail(&per_cpu(soft_data,cpu)->input_pkt_queue, skb)

2 处理收到的包

net_rx_action()

1 对于支持轮询的设备NAPI
A 对于共享的CPU专用队列, 从softnet_data->input_pkt_queue取包处理
B 对于设备内存,驱动调用poll函数直接从设备中取包处理

2 对于不支持NAPI的设备
从积压队列process_backlog中取下包

3 对包进行协议栈处理
__netif_receive_skb(skb)

6章 PCI层和网络接口

涉及的数据结构

pci_device_id 指的是PCI设备生产商的设备标识

pci_dev 每个pci设备都会被内核分配1个实例,
类似于每个网络设备被分配1个net_device

pci_driver PCI设备的驱动结构

char *name 驱动程序名称

struct pci_device_id *id_table 这是1个标识ID表,
它是设备生产商指定的设备标识

int (*probe) (pci_dev *dev, pci_device_id *id)
在PCI层搜寻设备的标识和驱动的匹配,就会调用此驱动探测函数

开启硬件,分配net_device结构,初始化注册新设备

PCI NIC设备驱动程序的注册

pci_register_driver(struct pci_driver *driver)
把驱动结构pci_driver注册到内核上,当检测到物理设备介入
时,匹配设备标识和驱动识别的标识pci_device_id,当相同时
就会调用其probe函数

8章设备的注册和初始化

alloc_netdev() 分配net_device结构

net_device 结构的组织

dev_base 是所有net_device的全局链表

查找网络设备net_device
dev_get_by_name(struct net*net, char *name)
dev_get_by_index(struct net*net, int idx)

设备注册状态的通知

netdev_chain 通知链
用途其他内核组件想知道何时网络设备注册,注销,关闭,开启事件

1通过register_netdevice_notifier 注册标识关注此通知

2 通知的事件类型: 设备开启,将要关闭,已关闭,设备已注册
NETDEV_UP,NETDEV_GOING_DOWN,NETDEV_DOWN
NETDEV_REGISTER,NETDEV_UNREGISTER

设备注册通过register_netdevice()

设备的引用计数

unregister_netdevice() ->
net_device->refcnt 只有引用计数=0时,才会注销设备

register_netdevice() 时refcnt =1
dev_hold和dev_put分别增加和减少引用计数

上层网络功能

流量控制TC功能
Traffic Control

宏观介绍

数据流传输需要不同的优先级.
举例: ssh和telnet远程命令操作要高于下载文件,
能避免ssh命令被文件下载吞掉所有流量而无法使用

实现基本概念:
过滤器(Filter)
分类器(Classic)
数据包队列(Queue)

功能发生的在协议栈位置:
流量控制发生的位置是协议栈的发包出口,
也就是网卡输出output

发生流量控制的过程:
1数据流先被过滤器Filter处理,
2 进行分类Classic
3 每个分类是一个队列Qdisc

使用流量控制器工具

通用步骤介绍:

给网卡分配一个队列

在该队列上建立分类

根据需要配置子队列和子分类

为每个分类建立过滤器,把数据流导向它

具体命令介绍:

为网卡创建队列

命令格式:
tc qdisc [add | change | replace | link] dev DEV
[parent qdisk-id |root] [handle qdisc-id] qdisc
[qdisc specific parameters

具体命令举例: 为网卡eth0创建一个类型是htb的队列
tc qdisc add dev eth0 root handle 1:htb default 11

解释:
root表示创建的是根队列,是最底层的
handle 1:htb 表示队列的句柄是1

为队列创建类别

命令格式:
tc class [add | change | replace] dev DEV
parent qdisc-id [classid class-id]
qdisc [qdisc specific parameters]

具体命令举例:

tc class add dev eth0 parent 1: classid 1:11 htb rate 40mbit ceil 40mbit
表示父亲队列为1,创建类别classid 1:11,类别标识是1:11
rate 40mbt 表示分配的带宽是10M

为类别创建过滤器

命令格式:
tc filter [add | change | replace]
dev DEV [parent qdisc-id | root]

具体命令举例:
tc filter add dev eth0 protocol ip
parent 1:0 prio 1
u32 match ip dport 80 0xffff flowid 1:11

解释:
protocol ip表示过滤的是数据流是IP协议
prio 1表示优先级最高为1
u32 match ip dport 表示用到了u32选择器,
判断目的网口dport和0xfff相与之后=80表示匹配
然后送给类别=1:11

2章关键数据结构

sk_buff 数据包管理结构

skb->users是引用计数 P36
主要用途是避免某人仍在引用这个结构时,把这个结构释放掉
=1表示只被创建过,只被当前1个人引用,可以被随意修改和释放
>1表示被多人引用,不能修改和释放
通过atomic_inc()和atomic_dec()增加和递减引用,但大多数情况是
通过skb_get(skb), kfree_skb(skb) 去修改引用

unsigned char *head;
unsigned char *end;

指向的是内存分配的起始head和结束end

unsigned char *data:
unsigned char *tail

指向的实际数据的有效起始位置(data)和结束位置(tail)

通用字段, 内核编译配置必选

sturct net_device *dev

1 当从网卡接受到数据包时,指向的是接收的网口

2 当要发出数据包时,指向的是发送数据包的网口

struct net_device *input_dev

1 表示被接收的数据包源自那个网口, 对于以太网设备eth_type_trans()里被设置
2 如果是本地长生的数据包,其=NULL

TCP/IP分层结构
union {...} h -> L4层
union {...} nh -> L3层
union {...} mac -> L2层

1 skb->mac 在处理L2以太层后,会记录下Ethernet头

2 skb->nh 在处理L3 IP层后,会记录数据包的IP层包头的位置

3 skb->h 在处理L4 TCP,UDP层后,会记录TCP或UDP层包头的位置

char cb[40] 保存私有信息存储空间

它在每1层之中,通过宏进行访问
举例: TCP_SKB_CB(skb) (struct tcp_skb_cb *)skb->cb[0]

struct dst_entry dst 该结构有路由子系统使用,
比较复杂需要在第7部分介绍

unsigned char cloned 表示结构是否被克隆过

管理函数

分配内存alloc_skb会分配2部分内存
1 分配sk_buff结构内存
2 分配数据包的内存

dev_alloc_skb(int length) 分配skb
内部调用netdev_alloc_skb(dev=NULL,length, gfp_mask)

释放内存 kfree_skb(skb)
把2块内存,sk_buff和数据包都释放掉

缓冲区sk_buff的克隆和拷贝-> P49

每clone一次,分配1份新的sk_buff内存,但数据包的内存只有1份,只是引用计数(dataref)增加
并且数据包(skb->head)的内容不能被修改

例外情况:
skb_copy()和pskb_copy的用途和区别

1 pskb_copy() 只重新拷贝skb_buff和部分数据包数据不包含分片结构

2 skb_copy() 完全拷贝,skb_buff, 所有数据包的数据包含分片结构

sk_buff列表管理函数,
(都需要获取锁保护之中,防止竞争)

把一个skb添加到队列的头或尾 skb_queue_head() , skb_queue_tail()

从队列头或尾拿走一个skb, skb_dequeue() , skb_dequeue_tail()

把队列清空 skb_queue_purge()

遍历队列中的每一个元素 skb_queue_walk

net_device 网络设备结构

所有网络设备的net_device结构,保存在全局链表dev_base

标识符:
1 int ifindex 设备唯一的ID, dev_new_index()时分配

配置相关

char name[] 网卡设备名

unsigned long mem_start, mem_end
该设备所使用的共享内存,用于设备和内核沟通

unsigned long base_addr 设备自由内存映射到I/O内存起始地址

unsigned int rirq 设备的中断编号

request_irq() 申请中断, free_irq() 释放中断

unsigned short flags
代表网络设备的功能(IFF_MULTICAST), 或者状态改变(IFF_UP)

unsigned char dev_addr[] 设备的链路层地址
举例: Ethernet类型是6字节

int promiscuity 混杂模式

接受不仅限于目的是本机的包,所有包都会抓取

通用结构

refcnt 引用计数, 只有=0时,设备才能被注销unregister

int (*poll) -> 设备轮询,被NAPI功能使用

函数指针

struct ethtool_ops *ethtool_ops
用于设置和读取设备的配置

用于开启或关闭一个网络设备
int (*open) , int (*stop)

int (*do_ioctl) 用于向设备发出命令

5章网络设备初始化

设备的注册初始化

硬件初始化:
有驱动程序和通用总线层(PCI, USB)合作完成
把设备的提供的功能配置成IRQ或I/O地址形式,使设备和内核能进行交互

NIC初始化的基本目标:
驱动程序如何分配建立设备/内核通讯所需的资源

IRQ 中断

request_irq() 给1个中断设置回调处理函数

free_irq() 删除中断的回调处理函数

I/O端口和内存注册

驱动程序将其设备的1个内存区域(配置的寄存器)映射到系统内存,
通过request_region()和release_region()完成

设备处理层初始化 net_dev_init -> P104

dst_init() 路由结构的初始化

协议处理函数ptype_base的初始化

注册1个CPU热插拔事件的通知链, 回调函数dev_cu_callback
当CPU停止时,清空处理CPU入口队列包,交给netif_rx

7部分路由

32章 Linux的实现

路由主要的数据结构

总体介绍:
路由用rt前缀, 转发信息数据库用fib, 功能用fn前缀表示

struct fib_result 对路由表查找后返回该结构,它不止包含下一跳信息

struct fib_rule 表示策略路由在数据流路由时,选择的路由表规则

struct flowi 类似于访问控制列表(ACL) 从L3和L4包头中选择字段作为关键字查找路由
相当于五元组src,dst,sport,dport,proto

struct fib_node 1条路由表项
存储的是route add添加的1条路由信息

struct fn_zone 表示相同长度子网掩码的1组路由
举例: 24位的区(zone) 路由10.0.1.0/24和10.0.2.0/24

struct fib_table 表示1张路由表

struct fib_info 不同路由表项之间可以共享的参数存储在这里

struct fib_nh 表示下一跳
举例: route add 10.81.0.0/24 nexthop via 10.80.2.1下一跳就是10.80.2.1

struct dst_entry 协议无关的路由表缓存

struct dst_ops 使用的徐函数表

struct rtable 表示1条路由表缓存项的数据结构

struct rtengry 处理用户态的请求route add
当使用route add命令添加/删除路由表项请求时所使用的数据结构

35章路由查找

先查找路由缓存,缓存中没有时,才进行真正路由表的查询

ip_route_input_slow 从网卡收到的包,是转发包或者交给本机的包

ip_route_output_slow() 本机产生向外发出的包,进行的路由查找

无论那个方向的路由都通过 fib_lookup() 查找路由

33章路由的缓存DST

宏观介绍

路由缓存的用途是加速路由查找的速度
缓存的核心结构是协议无关的目的地址缓存DST(Protocol Indepent Destination Cache)

外部系统与DST交互通过dst_ops回调函数完成

核心数据结构

struct rtable 包含2部分
1 与协议相关的数据结构
2 与协议无关的数据结构dst_entry

2 路由缓存中独立与协议的结构
struct dst_entry {
net_device *dev; 出口设备(将包报送到目的地的发送设备)
int (*input) (struct sk_buff *) ; 表示处理入口包的函数
int (*output) (struct sk_buff *); 表示处理出口包的函数
struct dst_ops *ops; 处理dst_entry结构的VFT
}

路由缓存查找:
内核中查找路由时,先查找缓存,如果不存在再查找真正的路由表

1 ip_route_outoput() 是网卡收到包,该包目的是本机或者转发包

2 ip_route_output_key() 由本机生成的向外发出的包

P885 IPsec变换时,对dst_entry的使用

1 无IPsec处理时,只有1个dst_entry,并且它的input,output用于对包的处理(转发或交给本地上层协议)

2 有IPsec处理时, 会有3个dst_entry连在一起,钱2个dst_entry的input,output负责加解密和添加/取出封包头ESP头
第3个dst_entry的input,output才负责转发或者交给本地上层协议

36章重要数据结构

flowi 结构用途: 用于路由查找的关键字
可以根据如入口/出口设备,L3和L4层包头的字段作为参数组合
对流量进行关键字的路由查找

struct flowi
union {
struct flowi4
struct flowi6

18章IPv4(因特网)

P413 大蓝图
IP内核协议战的关键函数

举例: 转发包的处理流程
ip_rcv() -> NF_HOOK(NF_INET_PRE_ROUTING, ip_rcv_finish)
ip_rcv_finish() -> 查找路由ip_route_input_noref()
ip_forward() NF_HOOK(NF_INET_FORWARD, ip_forward_finish)
ip_output() -> NF_HOOK(NF_INET_POST_ROUTING,ip_output_finish)

对本书的总结性的介绍

1 本书参照的linux内核代码是2.6.11

2 而我现在的分析是基于最新的linux内核4.15版本
我现在添加的许多标志性函数和结构都是