JavaScript通过getUserMedia采集音视频流，结合RTCPeerConnection实现WebRTC点对点通信，利用Web Audio API处理音频，通过RTCDataChannel传输任意数据，构建实时音视频应用。
JavaScript 在现代浏览器中提供了强大的音频视频处理能力，结合 WebRTC 技术，可以实现音视频采集、传输、实时通信和本地处理。下面从核心概念和实际应用角度，介绍 JavaScript 如何处理音视频以及如何使用 WebRTC 实现点对点通信。
音视频采集：获取用户媒体流
通过 MediaDevices.getUserMedia() 可以请求访问用户的摄像头和麦克风，获取音视频流。
基本用法如下：
navigator.mediaDevices.getUserMedia({ video: true, audio: true })
.then(stream => {
const video = document.querySelector('video');
video.srcObject = stream;
})
.catch(err => {
console.error("无法获取媒体设备：", err);
});
参数对象可配置分辨率、帧率等，例如：
立即学习“Java免费学习笔记（深入）”；
{
video: { width: 1280, height: 720, frameRate: 30 },
audio: true
}
这样可以控制采集质量，适用于不同场景需求。
WebRTC 核心：建立点对点连接
WebRTC 支持浏览器之间直接传输音视频流，无需中间服务器转发媒体数据。核心是 RTCPeerConnection API。
基本流程包括：
- 创建 RTCPeerConnection 实例
- 添加本地流（如 getUserMedia 获取的流）
- 生成并交换 SDP 描述（offer/answer）
- 收集并交换 ICE 候选地址
示例代码片段：
const pc = new RTCPeerConnection(); pc.addStream(localStream); // 添加本地流// 创建 offer pc.createOffer().then(offer => pc.setLocalDescription(offer)) .then(() => { // 发送 offer 到对方（通过信令服务器） });
// 接收 answer 或 remote candidate pc.ontrack = event => { remoteVideo.srcObject = event.streams[0]; };
注意：offer 和 answer 的交换需借助信令机制（如 WebSocket），WebRTC 本身不负责信令传输。
音频处理：利用 Web Audio API
JavaScript 可通过 Web Audio API 对音频流进行实时处理，如增益控制、滤波、分析等。
将 getUserMedia 获取的音频流接入音频上下文：
const audioContext = new AudioContext(); const source = audioContext.createMediaStreamSource(mediaStream); const gainNode = audioContext.createGain();source.connect(gainNode); gainNode.connect(audioContext.destination);
// 调整音量 gainNode.gain.value = 0.5;
还可使用 AnalyserNode 获取频谱数据，用于可视化或语音检测。
数据通道：传输任意数据
除了音视频，WebRTC 还支持 RTCDataChannel，可在对等端之间发送文本、文件等任意数据。
创建方式：
const dataChannel = pc.createDataChannel("chat");
dataChannel.onmessage = event => {
console.log("收到消息：", event.data);
};
// 发送消息
dataChannel.send("Hello P2P");
接收方需监听 ondatachannel 事件：
pc.ondatachannel = event => {
const receiveChannel = event.channel;
receiveChannel.onmessage = e => { /* 处理消息 */ };
};
适合低延迟场景，如聊天、协同编辑、远程控制等。
基本上就这些关键点。掌握 getUserMedia、RTCPeerConnection、Web Audio API 和 RTCDataChannel，就能构建完整的音视频通信应用。实际开发中需处理网络变化、权限控制、兼容性等问题，但整体架构清晰，浏览器支持良好。
