挑战：直接关联鼠标与视频帧的难题
在使用navigator.mediadevices.getdisplaymedia（或旧版getuserdisplay）api进行屏幕录制时，一个常见的需求是同时捕获用户的鼠标移动轨迹，并将其与录制的视频帧精确对应。例如，在后端解码视频帧后，希望为每一帧匹配到其对应的鼠标x、y坐标，以便进行后期编辑或渲染。
然而，WebRTC及相关的媒体流API并没有提供直接的“每帧事件”（onFrame event）或类似机制，使得开发者无法在视频帧生成的确切时刻捕获鼠标位置。此外，不同设备的帧率可能存在差异，视频编码器也可能对帧进行丢弃或复制，导致实际录制视频的帧数与前端尝试通过requestAnimationFrame等方式收集到的数据量不匹配。例如，尝试使用requestAnimationFrame来收集数据，可能会发现录制视频有570帧，但收集到的鼠标位置数据却只有194项，这表明两者之间并非简单的1:1关系。因此，直接尝试将鼠标事件与视频帧数量进行精确匹配在技术上是不可行的。
核心策略：基于时间戳的同步方法
鉴于上述技术限制，我们推荐一种基于时间戳的同步策略。其核心思想是：不强求鼠标位置数据与视频的每一帧精确对应，而是确保在视频录制过程中，鼠标的每个位置数据都带有一个相对于录制开始时间的精确时间戳。这样，在视频播放或后端处理时，可以通过视频的当前播放时间（毫秒）来查找与之最接近或之前的鼠标位置数据，从而实现逻辑上的同步。
这种方法解决了以下关键问题：
- 解耦数据： 鼠标轨迹数据与视频流独立存储和传输，提高了灵活性。
- 时间一致性： 鼠标位置数据与视频内容通过共享的时间轴进行同步，而不是依赖不可靠的帧计数。
- 精确匹配： requestAnimationFrame能够确保鼠标位置的采样与浏览器屏幕的实际刷新周期同步，这意味着我们捕获的鼠标位置是最接近用户在屏幕上看到的视觉更新时刻。即使视频录制帧率高于requestAnimationFrame的频率，重复的视频帧也无需额外的鼠标数据。
实现步骤与代码示例
要实现这种基于时间戳的鼠标轨迹同步，我们需要以下几个关键步骤：
- 记录录制开始时间： 当视频录制开始时，立即记录一个起始时间戳。所有后续的鼠标位置数据都将基于此起始时间计算相对时间戳。
- 监听鼠标移动事件： 设置一个全局的鼠标移动事件监听器，实时更新鼠标的最新位置。
- 利用 requestAnimationFrame 采样鼠标位置： 使用requestAnimationFrame来调度一个函数，该函数会在浏览器下一次重绘之前执行。在这个函数中，我们将捕获当前鼠标的最新位置以及相对于录制开始时间的精确时间戳。
下面是一个具体的代码示例：
let recordingStartTime = 0; // 录制开始的时间戳，单位毫秒
let lastKnownMousePosition = {}; // 存储鼠标的最新位置信息
/**
* 初始化鼠标位置监听器。
* 无论何时鼠标移动，都会更新lastKnownMousePosition。
*/
window.addEventListener('mousemove', (event) => {
lastKnownMousePosition = {
mouseX: event.clientX, // 鼠标X坐标
mouseY: event.clientY, // 鼠标Y坐标
mouseButtons: event.buttons, // 鼠标按键状态
};
});
/**
* 启动录制和数据捕获。
* 在MediaRecorder开始录制时调用此函数。
*/
const startRecordingAndMouseCapture = () => {
recordingStartTime = Date.now(); // 记录录制开始时间
// 启动鼠标位置采样循环
requestAnimationFrame(frameHandler);
// 这里可以放置 MediaRecorder 的启动逻辑
// mediaRecorder.start();
console.log("录制和鼠标轨迹捕获已启动...");
};
/**
* requestAnimationFrame 的回调函数，用于周期性捕获鼠标位置。
*/
const frameHandler = () => {
if (recordingStartTime === 0) {
// 如果录制尚未开始，则不捕获，等待启动
requestAnimationFrame(frameHandler);
return;
}
const mousePositionData = {
timestamp: Date.now() - recordingStartTime, // 相对录制开始时间的毫秒数
...lastKnownMousePosition, // 包含mouseX, mouseY, mouseButtons
};
// 在这里将 mousePositionData 发送到服务器或存储到本地数组
// 例如：sendMousePositionToServer(mousePositionData);
// 或者：mousePositionsArray.push(mousePositionData);
console.log("捕获到鼠标位置数据:", mousePositionData);
// 继续调度下一次帧处理
requestAnimationFrame(frameHandler);
};
// 示例：模拟在某个时刻启动录制
// 在实际应用中，这会与 MediaRecorder.start() 同步调用
setTimeout(startRecordingAndMouseCapture, 1000); // 1秒后启动代码解析：
- recordingStartTime：在startRecordingAndMouseCapture函数中，当媒体录制正式开始时，通过Date.now()获取当前时间作为基准。
- window.addEventListener('mousemove', ...)：这是一个标准事件监听器，用于捕获鼠标在屏幕上的实时移动。lastKnownMousePosition对象始终保存着鼠标的最新状态。
- frameHandler：这是requestAnimationFrame调用的核心函数。它在每次浏览器准备重绘时执行。
- Date.now() - recordingStartTime：计算当前鼠标位置数据相对于录制开始时间的精确毫秒数。
- ...lastKnownMousePosition：将最新的鼠标X、Y坐标和按键状态合并到mousePositionData对象中。
- requestAnimationFrame(frameHandler)：递归调用自身，确保在下一个动画帧继续捕获数据。
后端处理与回放
当视频流和鼠标轨迹数据（一个包含 { timestamp, mouseX, mouseY, mouseButtons } 对象的数组）都发送到后端或用于前端回放时，可以这样进行同步：
- 视频播放： 视频播放器通常提供获取当前播放时间（currentTime，通常以秒或毫秒计）的API。
- 查找鼠标位置： 利用视频的当前播放时间戳，在鼠标位置数据数组中查找 timestamp 小于或等于当前视频播放时间戳的最后一个鼠标位置对象。
- 渲染或处理： 使用找到的鼠标位置信息，可以在视频上方渲染自定义的鼠标光标，或者在进行视频编辑时，根据这个位置信息对视频内容进行相应的操作。
这种方法确保了鼠标光标的显示或处理与视频内容在时间上是同步的，即使视频播放过程中存在帧率波动或跳帧，鼠标轨迹也能保持相对的准确性。
优势与考量
- 高精度同步： requestAnimationFrame确保了鼠标位置的采样与屏幕的实际视觉更新同步，提供了高精度的计时。
- 灵活性： 鼠标数据与视频数据分离，便于独立存储、传输和处理。
- 后端友好： 后端接收到结构化的时间戳数据和视频流，可以更灵活地进行后期处理和分析。
- 经过验证： 这种基于时间戳的同步方法在远程桌面等对同步要求极高的系统中已被证明是行之有效的。
注意事项：
- 确保recordingStartTime的设置与MediaRecorder.start()的调用尽可能同步，以减少初始时间偏差。
- 如果网络延迟较高，将鼠标数据实时发送到后端可能会引入额外的延迟。在这种情况下，可以考虑在前端将所有鼠标数据收集到一个数组中，待录制结束后与视频文件一同发送。
总结
尽管WebRTC API不直接提供与视频帧同步的鼠标事件，但通过结合Date.now()获取精确时间戳和requestAnimationFrame进行周期性采样，我们可以构建一个高效且准确的鼠标轨迹同步方案。这种方案将鼠标位置数据与视频流解耦，通过时间轴进行关联，为屏幕录制后的高级处理和编辑提供了坚实的基础。
