小冰-私有化
  1. 交互
小冰-私有化
  • 交付流程须知
  • 接口调用须知
  • 性能测试报告
  • 部署须知
    • 信创可用环境 - 整合
    • 私有化 步骤一 -- 前期接洽沟通
    • 私有化 步骤二 -- 业务定版封包
    • 私有化 步骤三 -- 售后升级响应
  • 基础服务
    • 概述
    • 常见问题
    • 技术文档
    • 数据准备
      • 模型迁移
      • 范例视频迁移
      • 分配租户形象和声音
      • 租户创建(开箱操作)
  • TTS
    • 概述
    • 技术文档
    • 常见问题
    • 接口返回码枚举
    • 接口
      • 查询声音列表
      • 实时流式音频接口(300字以内)
      • 实时同步音频接口(3000字以内)
      • 异步音频接口(10万字以内)
      • 查询异步tts结果
      • 查询tts权益
  • 视频生成
    • 概述
    • 技术文档
    • 常见问题
    • 接口
      • 接口使用须知
      • 视频创建接口
        • 获取数字员工列表
        • 获取数字员工详情
        • 批量获取数字员工详情
        • 创建透明虚拟人视频
        • 创建编辑器视频
        • 获取任务结果
        • 获取播报相关权益,
        • 查询声音列表
      • 声音形象定制
        • 获取训练的权益
        • 提交视频训练任务
        • 获取视频训练任务结果
        • 确认预览结果
        • 提交音频训练任务
        • 获取音频训练任务结果
  • 交互
    • 概述
    • 技术文档
    • 交互SDK
    • 常见问题
    • 接口
      • 生成签名Signature
      • 获取所有虚拟人信息
      • 获取虚拟人资源(带状态)
      • 获取虚拟人可用的声音信息
      • 创建
    • 其他
      • Demo页面验证流程
  • ASR
    • 概述
    • 部署架构图
    • 常见问题
    • 接口
  • 训练平台
    • 概述
    • 技术文档
    • 常见问题
  • 大脑
    • 概述
    • 技术文档
    • 常见问题
    • 接口鉴权
    • 示例代码
    • 对话URL获取
    • 接口
      • 流式对话接口(SSE)
  • ws交互接口
  1. 交互

常见问题

拉流后出现画面但是听不到声音#

1.拉流成功回调执行后只有视频画面或者声音和视频画面都没有
2.请确认以下内容:
1
2.1 拉流的成功的回调已经执行
sdk的onJoinRoom回调成功执行,该回调代表拉流成功
详情sdk文档4.1生命周期列表中可见
image.png
2
2.2 是否开启电脑系统声音
3
2.3 是否开启了浏览器页面声音播放权限
image.png
观察浏览器标签是否静音,若静音按下图打开页面声音
image.png
4
2.4 是否在开始拉流前引导用户操作页面
解释:浏览器自动播放策略
Google Chrome:
自动播放被允许的条件:
音频被静音。
用户已多次与该网站互动(如点击、滚动)。
网站被标记为用户常访问的网站。
参考:Chrome Autoplay Policy
Mozilla Firefox:
自动播放被阻止,除非视频静音或用户已与页面互动。
用户可以在设置中自定义自动播放行为。
参考:Firefox Autoplay Policy
Apple Safari:
默认阻止自动播放有声音的视频。
允许自动播放静音视频。
参考:Safari Autoplay Policy
Microsoft Edge:
与Chrome类似,基于Chromium内核的Edge遵循相同的自动播放政策。
参考:Edge Autoplay Policy
浏览器协议阻止页面一打开后直接播放带声音视频,需在用户操作过页面后才能播放,操作是指用户点击等行为
5
2.5 检查浏览器是否开启了视频处理插件,若有需关闭该类型插件后重新拉流
image.png
image.png
视频处理类插件可能含有劫持流数据二次处理的行为,该sdk若流被劫持将无法正常订阅使用
请勿直接修改sdk渲染dom内的video标签,会导致视频及音频丢失

能否自定义流的展示区域及大小#

1
阅读SDK文档3.1
可在接口中获取推流视频实际宽高或者在sdk回调onGetHeightAndWidth中获取
2
初始化SDK时传入自定义挂载容器
SDK文档4.1中配置项mountClass,流将在容器中播放,可根据第一步中获取的宽高固定容器宽高比

#

视频流卡顿#

1
查看计算推流丢包率
在sdk的onRTCStatsReport回调中可以获取推流统计报告RTCStatsReport
获取到的参数为视频流stat对象,获取 丢失的数据包数量stat['packetsLost']和接收到的数据包数量stat['packetsReceived']计算出丢包率
若丢包率大于15%可尝试优化网络环境
2
若发现网络环境不达标
1.降低视频码率
2.优化网络环境,例如:提高带宽,较少拉流过程中其他占用带宽资源加载
3.增加网络差的提示
3
若非网络环境问题,可查看当前电脑系统cpu占用率及内存占用率
windows系统:
同时按住键盘上Ctrl+Alt+Delete,点击“启用任务管理器(T)”
mac系统:
在 Mac 上的“活动监视器” App 中,执行以下任一项操作:
若要查看一段时间内的处理器活动,请点按“CPU”。以下百分比显示在“活动监视器”窗口的底部:
系统:属于 macOS 的进程所使用 CPU 能力的百分比。
用户:你打开的 App,或者那些 App 打开的进程所使用的 CPU 能力的百分比。
闲置:未被使用的 CPU 能力的百分比。
若要查看当前的处理器活动,请选取“窗口”>“CPU 使用率”。
若要查看最近的处理器活动,请选取“窗口”>“CPU 历史记录”。
若要显示更多列,请选取“显示”>“列”,然后选取想要显示的列。
4
若发现cpu或者内存占用过高,请关闭其他占用较高的应用后尝试使用交互sdk

在本地开发测试一切正常,但是页面部署后,却无法正常采集摄像头、麦克风数据,是什么原因?#

1
检查当前网络环境是否为https
获取麦克风或摄像头等权限时需要ssl证书,浏览器在安全网站时才可调取权限
2
检查浏览器权限是否对该域名允许调用权限
image.png
image.png
3
检查硬件设备是否正确使用了麦克风或者摄像头等设备

若出现网络波动断网后该如何处理?#

1
sdk内部会自动重连五次
2
重连期间用户无感知,可继续发送驱动指令
重连成功后会自动补发消息
3
若重连前发送的消息,重连后可能会丢失驱动信息的结束回调
可在onReconnectSuccess回调中获取重连信息
ReconnectRes
参数名称类型描述
unplayedContentboolean断连前是否在播报,如在播报,websocket重连成功会丢失结束标识
contentstringwebsocket断连期间发送的驱动信息会在重连成功后发送,content为发送内容

使用流式驱动,数字人播报为什么会出现卡顿或者结巴#

1
获取大模型或其他流式输出的对话模型答案
2
客户端先对答案进行拼接为完整的一句话后再做驱动

若是后端做了代理,服务需先访问我们自己的后端服务,再转发小冰服务该如何处理?#

1
确保后端代理正确,sdk内除短链接外还有websocket,服务端都需要处理转发
2
若长链接和短链接后端服务一致,只需配置sdk配置项proxyServer
3
若长链接服务和短链接不一致,长链接可使用配置项webSocketServer单独进行配置

拉流后sdk没有触发onError回调,控制台也没有报错,但是一直没拉到流卡住了怎么处理#

1
检查内网环境网络配置是否正确
2
先检查代理服务是否有证书,若需忽略证书需在代理服务正确配置
3
检查udp链接是否正确配置
验证: nc -uvz ${ip} 20000

接口出现跨域的问题#

1
确认是否连接了公司vpn或其他代理软件
2
可尝试开启关闭代理软件两种网络情况访问接口检查表现是否一致
3
检查防火墙是否对系统的options请求做了拦截

接口401#

1
启动SDK前是否获取了signature并传入
2
检查确认signature是否过期,若后端或者前端有缓存机制,检查是否能确保获取到有效的signature
3
若是浏览器缓存了响应,导致token没法获取新的值,你可以尝试在请求 URL 中添加一个随机参数,确保每次请求都是唯一的。也可以尝试在请求中添加 Cache-Control 头,强制浏览器不使用缓存。

为什么无法二次拉流#

1
拉流后需调用endRTC后才可重新拉流
修改于 2024-12-11 03:47:37
上一页
交互SDK
下一页
生成签名Signature
Built with