# Web 音视频(七)中期回顾

Web 音视频目录

# 个人回顾

本系列更新至今,持续了一个月时间,内容可以总结为音频、视频数据的 解析 - 处理 - 合成,在浏览器中比较粗粒度地实现音视频编辑的主要环节,差不多是把 WebAV 项目 (opens new window)的原理讲完了。

讲解的知识非常浅,目标读者是准备在 Web 平台进行音视频开发的新手;
这是我第一次进行高频率技术写作,将一个知识点讲得浅显易懂实在太难了,仍需要刻苦练习。

标题设定为“中期回顾”,是期望后续还有机会聊 Web 音视频相关更深更广的话题,比如推流、滤镜、转场等等。

# WebCodecs 的价值

在本系列第一章中,提到了 WebCodecs 给 Web 补齐了缺失编解码能力;
于是在音视频的消费端,可实现更细致的控制,实现逐帧播放、倒放、生成缩略图、分享视频片段等功能;
当然,最适合 WebCodecs 大展身手的领域应该是音视频的生产端,很多以前 Web 平台没法做、或者很难做的功能现在都成为可能。

谈 WebCodecs 价值当然离不开 Web 平台本身,Web 的诱惑在于互联、跨平台、低门槛

Figma 是一个完美案例:设计师在线(跨平台)协同(互联)创作设计稿,交付给前端开发的是一个 URL(低门槛);
5 年前设计师甩给我一个 html zip 包,3 年前设计师让我去下载 zeplin,现在给我一个 Figma URL 可真是太美好了。

如果以 Figma 为模板来想像视频创作工具,那就是在网页中多人协同进行视频编辑,恰好已经有这样的产品 (opens new window)了。
再结合炙手可热的 AI 技术,视频创作门槛越来越低,可能会有大量的非专业用户,那 Web 应该是最佳的产品承载平台。

在直播领域,各平台的推流终端都少有 Mac 版,虽有网页推流的跨平台实现(WebSocket 或 WebRTC),但受限于可控编解码能力的缺失,很难满足产品的多样化功能诉求;
用 Electron + WebCodecs 实现完备的跨平台推流客户端,技术复用实现网页推流,也许是一个不错的技术方案。

# WebCodecs 的挑战

  • 生态不成熟
    • 比如 缺少多样、成熟的解封装库
  • 兼容性问题
    • 目前之后 Chrome 有良好支持
    • 未来乐观,Firefox、Safari 都表示会支持
  • 无法自定义编解码器
    • 这点当前没办法解决

如果是一个用户群比较大的产品,端云结合将是一个长期过程;
将一些计算量转移到端上以降低成本,为不支持的用户提供云端支持。

# 附录

💗 博主正处于裸辞待业状态,欢迎 商务合作 💗

相关文章

WebAV SDK(Web 视频编辑)V1 发布

前言 WebAV 是基于 WebCodecs 构建的 SDK,用于在 Web 平台上创建/编辑视频文件。 V1 对项目来说是里程碑版本,意味着 API 已经稳定,且功能的稳定性也经过了长时间的考验,可用于生产环境。 我在 20 年加入 B 站,开始接触 Web 音视频相关的知识(Web 播放器), WebCodecs API 在 21 年发布; 我预期 WebCode ...

纯 Web 视频剪辑

前言 WebCodecs API 为 Web 平台提供了音视频编解码能力,使得在 Web 平台(网页、Electron)上实现高效、专业的视频剪辑成品成为可能。 读者可阅读笔者的入门系列文章获取更详细的信息,或直接使用 WebAV 开源项目在浏览器中创建/编辑音视频文件。 背景 & 方案 为了解决主播投稿场景中,需要对直播视频进行简单编辑的诉求, ...

Google IO 分享 WebCodecs、OPFS 文字版

背景 2024 北京 Google I/O 邀请我参加合作者开发者论坛,主题是 "Build powerful Web App"; 笔者近期在公司项目中实践 WebCodecs,对应的开源项目是 WebAV,在 Web 音视频领域算是相对前沿的探索; 本文主要分享基于 WebCodecs、OPFS 实现的视频剪辑产品,探讨这些 API 还有哪些应用场景; W ...

WebCodecs 性能表现及优化思路

笔者开源 WebAV 已经一年半,还写了系列文章帮助初学者入门 Web 音视频。 之前一直隐隐担心在 Web 平台处理音视频与 Native APP 会有明显性能差距,因为 WebCodecs API 毕竟被浏览器代理了一层,且一些数据处理需要 js 配合,不确定有多大的性能损耗。 相信刚接触 WebCodecs 的读者也非常关心它的性能表现如何。 ...

WebCodecs 编码字符串(codec)介绍

笔者的 Web 音视频系列文章 视频播放经常会看到这样的字符串 video/mp4; codecs="avc1.4d002a",WebCodecs 编解码器初始化也需要配置 codec 参数,本文尝试简单介绍编码字符串含义。 视频编码分许多种类,每个种类还分多个版本,不同种类、版本对应的编解码算法、支持的能力(分辨率上限、色深等等)不同 ...

WebCodecs 开启 Web 音视频新篇章

你可以先略过下面的无聊文字,体验一番 WebCodecs 的实力 WebCodecs 是什么 WebCodecs 是一个 Web 规范,21 年 9 月份在 Chrome 94 中实现 WebCodecs 提供访问编解码能力的接口,可精细控制音视频数据 Web 音视频 API 存在什么问题 音视频技术在 Web 平台上的应用非常广泛,已有许多 Web ...

【译】WebCodecs 说明

本文翻译至 WebCodecs Explainer 问题与动机 已有许多 Web API 在内部使用媒体编解码器来支持特定用途,比如: HTMLMediaElement and Media Source Extensions WebAudio (decodeAudioData) MediaRecorder WebRTC 但是还没有一种通用的方式来灵活 ...

Web 音视频(六)图像素材处理

Web 音视频目录 前序章节介绍了如何在浏览器中解析、创建视频,以及给视频添加一些自定义素材(图片、音频、文字...); 本章介绍如何给图像素材加特效、加动画,实现转场、移动水印、图像滤镜美化等功能。 你可以跳过原理介绍,直接查看 WebAV 示例 素材动画 在视频制作中实现动画跟其他场景略有不同,因为视频 ...

Web 音视频(五)在浏览器中合成视频

Web 音视频目录 经过前序章节的介绍,读者能大致了解如何在播放器中解析、创建视频; 本章介绍何在浏览器中合成视频,这是视频编辑中最基础的功能。 你可以跳过原理介绍,直接查看 WebAV 合成视频示例 在视频上叠加素材 常见的素材有:视频、音频、图片、文字 [在浏览器中创建视频](/posts/2 ...

Web 音视频(四)在浏览器中处理音频

Web 音视频目录 为什么单独介绍音频处理? 网络上缺乏音频处理的资料,绝大多数示例都是针对视频而略过音频,很多人在网上寻找音频处理的示例 对前端开发者来说,音频处理相对视频略微复杂一些 所以,本文专门针对音频数据,汇总讲解采集-处理-编码-封装全过程,帮助初学者入门。 ![audio-data-flow](./audio ...