做直播平台运维，最怕什么？半夜三点被报警电话叫醒，说直播间有人骂人、涉黄，平台被投诉了。这时候才想起来语音审核没兜住，那就晚了。语音审核不是“有就行”，得跑通整个流程，才能真正防住风险。
语音数据怎么接进来？
直播间的语音是实时流，不是录好的文件。第一步就是把主播的声音从推流里捞出来。一般用 RTMP 或者 WebRTC 推流，服务端通过 FFmpeg 或自研解码模块把音频轨分离出来。常见做法是在边缘节点部署音频提取服务，一收到音视频流就切出 PCM 数据，转成统一采样率（比如 16kHz）发给审核系统。
举个例子，你家楼下烧烤摊老板开播卖啤酒，他手机推上来的流，后端就得实时拆出他的吆喝声，一秒都不能卡。延迟高了，等骂完人才拦，就没意义了。
过机器：ASR + 关键词匹配
拿到音频后第一关是自动识别（ASR）。把声音转成文字，再拿关键词库去比对。这步靠的是语音识别引擎，比如用开源的 WeNet，或者对接阿里云、腾讯云的 API。别指望 ASR 百分百准，尤其背景有噪音、口音重的时候，但能筛掉大部分明面上的违规内容。
比如有人直接说“加我微信交易”，系统识别出“微信”“交易”组合，立刻打标。关键词库得经常更新，像“约炮”换成“约波”、“VX”代替“微信”，都得补上。
{
"task_id": "live_123456",
"text": "加我VX发资源",
"keywords_hit": ["VX", "发资源"],
"risk_level": "high"
}敏感行为模型辅助判断
光靠关键词容易误杀，比如老师讲课说“这个公式很关键”，也被拦就离谱了。所以得加行为模型，分析语速、语调、重复频率。比如连续高音量咆哮，或反复念一串数字（可能是导流账号），模型会加分风险值。
这类模型一般用 LSTM 或 Transformer 架构训练，输入是语音特征（MFCC）和文本序列，输出一个风险分数。分数超过阈值，直接进复审队列。
人工复审怎么排班？
机器不可能全拦住，尤其一些阴阳怪气、谐音梗，还得靠人。我们通常设三级响应：高危实时弹窗，中危五分钟内处理，低危批量处理。晚八点到十点是高峰，必须安排双班倒，每人盯不超过八个画面，看不过来就漏单。
有个团队做过测试，一个人连续盯屏超过四十分钟，漏检率翻倍。所以现在都加疲劳监测，操作员每两小时强制休息十分钟。
拦截与反馈闭环
一旦确认违规，动作要快。轻则掐麦、发警告，重则封直播间。系统得和直播控制台打通，下发指令延迟控制在 800ms 以内。用户那边可能刚说完脏话，麦克风就哑了，体验虽然差，但合规优先。
更重要的是反馈机制。每天汇总机器误判和漏判案例，反哺 ASR 和模型训练。比如某天发现“芜湖”被当成“污啦”误杀，第二天词典就得加白名单。
语音审核不是一锤子买卖，是个持续调优的过程。设备在变、话术在变、攻击方式也在变。运维得盯着数据跑，哪天松懈了，问题就来了。