英伟达发布Nemotron 3.5 Transcribe：40种语言录音可按指令转写

英伟达10月28日发布开放权重语音模型Nemotron 3.5 Transcribe，支持40种语言转录，单段录音最长一小时，并可按自然语言指令调整转写方式、标记说话人或翻译语音。对访谈、播客和视频后期，变化在于同一份录音可以要求不同格式的文字结果；本次发布的模型处理已录制音频，不提供原生实时流式转录。

逐字记录与成片字幕，需要两种输出要求

保留语气词和重复句的逐字稿，适合回听、选取原声；去掉口头停顿、补齐标点并统一数字写法的书面稿，更便于整理内容。新模型允许在每次请求中描述这类要求，不必为一种输出习惯重新训练。两份结果的用途不同，整理后的文字不能直接当作受访者逐字说过的话。

上下文也能写进指令。例如一段展会采访涉及少见的品牌名或地点，可以提供预期词表，帮助模型处理专名。词表提供的是识别线索，不应变成替受访者补充事实的素材；人名、数字和关键原话仍需要对着原声检查，尤其不能把整理稿中的流畅表达误当成录音证据。

官方架构把语音识别分支与说话人分离分支结合，再交给语言模型生成文字；额外的CTC对齐模块用于把生成文本对回音频，输出词级时间戳。这样得到的结果既包含“说了什么”，也能帮助定位“谁在何时说”，但时间戳仍不是已经排好行、设置好断句和阅读时长的成片字幕。

说话人标记最多覆盖八人。技术报告还明确列出，中英混说和普通话远场会议语音仍有困难，后者在训练数据中代表不足。将它用于中文圆桌访谈时，重叠发言、离麦较远的人声及专名，应成为回听重点，不能由“支持40种语言”推导出所有语言与收音条件效果相同。

创作工具推荐：把长访谈剪成60秒人物介绍时，可将已经回听确认的文字交给PixTV的文字创作功能，整理旁白草稿，并单列需要保留原声的句子。这样编排脚本时能区分原话与新写的串联文字，便于回到录音中选段。

开放权重，仍要分别考虑部署与录音时长

模型采用语音编码器、说话人分离模块和混合专家语言模型，官方给出的活跃参数约43亿。活跃参数描述一次计算调用的部分，不等于模型只占用相应大小的显存；权重精度、缓存及输入长度都会影响部署所需容量，不能仅凭这个数字判断普通电脑能否运行。

英伟达已公开权重，并提供NeMo Speech微调工具，开发者可选择本机或服务器处理录音。本地处理意味着可以自己安排录音的处理位置，并不免除硬件配置与软件部署工作。对制作团队，当前更实用的判断是先用自己的收音条件验证转录、说话人标签和时间对齐，再决定是否纳入既有字幕流程。

页面链接：   https://news.znds.com/article/69722.html