webrtc基础及传输架构
2021-08-30 10:00:47 2 举报webrtc音视频通话基础架构
作者其他创作
大纲/内容
建立和维护网络连接
（Transmisson Control Protocol，TCP）传输控制协议，它保证如下几点： 任何送出的数据都有送达的确认 任何未送达接收端的数据会被重传并停止发送更多的数据。 数据是唯一的，接收端不会有重复的数据
Web API
传输媒体流时，提供拥塞和控制流功能
视频采集
应用层
音频采集
实时传输低延时
对应加密协议SRTP/RTP
web API
视频抖动缓冲器模块Video Jitter Buffer
降噪（NR）noise reduction
保护传输数据的安全
NAT穿越技术（p2p）TURN/STUN+ICE
音频引擎（GIPS）
Session(TLS)-optional
视频引擎（VPx）
HTTP1.x/2.0
WebRTC基础传输架构
WebRTC web 端
信令管理、核心引擎
WebRTC 移动端/桌面端
Network(IP) 网络层
Transport(UDP)
传输层
WebSocket
安全协议RTP/SRTP/SCTP
web应用
DataChannel
对应加密协议SCTP
SSE
DTLS(Datagram Transport Layer Security)即数据包传输层安全性协议
libwebrtc
会话层
Session(DTLS)-mandatory
网络 I/O
Transport(TCP)
RTCPeerConnection
浏览器厂商 API
（User Datagram Protocol， UDP）用户数据报协议： 不保证数据发送或接收扥先后顺序。 不保证每一个数据包都能都传送到接收端吗；一些数据可能在半路丢失。 不跟踪每一个数据包的状态，即使接收端有数据丢失也会继续传输。
媒体传输
回音消除器（AEC）Acoustic Echo Canceler
XHR
传输媒体流
图像质量增强模块Image Enhancements
会话管理/信令（session）
VP8:视频图像编解码器
语音信号处理元件NetEQ For Voice
ICE建立互动式连接/SDP：描述各端能力的数据格式
DTLS/UDP
WebRTC C++ API
实时通信应用程序或插件可能会通过多种方式危及安全。例如： 1.未加密的媒体或数据可能会在浏览器之间或浏览器和服务器之间被拦截。 2.应用程序可能会在用户不知情的情况下录制和分发视频或音频。 3.恶意软件或病毒可能与看似无害的插件或应用程序一起安装。
iSAC:默认编解码器iLBC:窄带语音编解码器
0 条评论
下一页
