视频会议中优化sfu以吸取mcu的优点
1. SFU与MCU
- SFU：分别转发每一路音视频流转给发其他人
- MCU: 合并音视频流各1路转发给发其他人
2. 改进SFU
- 视频多码流降采样：人多时大部分人用低分辨率，用simulcast/svc准备多路流。带宽不够sfu会切，但cpu/gpu不够用sfu客户端要主动切
- 音频只转发有限路：根据rtp头判断音量，只转发音量最大的1-3路。
- 音频减少推流：开启静音检测、编码开启dtx。
- 对于mcu转rtmp/hls场景直播如小程序和手机h5：客户端再推一路录像流做直播，但不能参与。
- 电话与sip话机怎么参与：只转发1路音频和视频，或者转发到一个单独为sip做的mcu服务。