# Web 音视频(七)中期回顾

Web 音视频目录

# 个人回顾

本系列更新至今,持续了一个月时间,内容可以总结为音频、视频数据的 解析 - 处理 - 合成,在浏览器中比较粗粒度地实现音视频编辑的主要环节,差不多是把 WebAV 项目 (opens new window)的原理讲完了。

讲解的知识非常浅,目标读者是准备在 Web 平台进行音视频开发的新手;
这是我第一次进行高频率技术写作,将一个知识点讲得浅显易懂实在太难了,仍需要刻苦练习。

标题设定为“中期回顾”,是期望后续还有机会聊 Web 音视频相关更深更广的话题,比如推流、滤镜、转场等等。

# WebCodecs 的价值

在本系列第一章中,提到了 WebCodecs 给 Web 补齐了缺失编解码能力;
于是在音视频的消费端,可实现更细致的控制,实现逐帧播放、倒放、生成缩略图、分享视频片段等功能;
当然,最适合 WebCodecs 大展身手的领域应该是音视频的生产端,很多以前 Web 平台没法做、或者很难做的功能现在都成为可能。

谈 WebCodecs 价值当然离不开 Web 平台本身,Web 的诱惑在于互联、跨平台、低门槛

Figma 是一个完美案例:设计师在线(跨平台)协同(互联)创作设计稿,交付给前端开发的是一个 URL(低门槛);
5 年前设计师甩给我一个 html zip 包,3 年前设计师让我去下载 zeplin,现在给我一个 Figma URL 可真是太美好了。

如果以 Figma 为模板来想像视频创作工具,那就是在网页中多人协同进行视频编辑,恰好已经有这样的产品 (opens new window)了。
再结合炙手可热的 AI 技术,视频创作门槛越来越低,可能会有大量的非专业用户,那 Web 应该是最佳的产品承载平台。

在直播领域,各平台的推流终端都少有 Mac 版,虽有网页推流的跨平台实现(WebSocket 或 WebRTC),但受限于可控编解码能力的缺失,很难满足产品的多样化功能诉求;
用 Electron + WebCodecs 实现完备的跨平台推流客户端,技术复用实现网页推流,也许是一个不错的技术方案。

# WebCodecs 的挑战

  • 生态不成熟
    • 比如 缺少多样、成熟的解封装库
  • 兼容性问题
    • 目前之后 Chrome 有良好支持
    • 未来乐观,Firefox、Safari 都表示会支持
  • 无法自定义编解码器
    • 这点当前没办法解决

如果是一个用户群比较大的产品,端云结合将是一个长期过程;
将一些计算量转移到端上以降低成本,为不支持的用户提供云端支持。

# 附录

💗 博主正处于裸辞待业状态,欢迎 商务合作 💗

相关文章

ZingAI.video 在线口播视频剪辑

ZingAI.video 字影是采用前沿 Web 技术构建的口播视频剪辑工具,欢迎体验 背景 我发现自己消费的视频基本都是口播类视频,且 AI 生成的视频绝大多数也是这类视频。 口播类视频并不是指狭义的主播(或数字人)念稿子,它的典型特征是传达的信息以文字语音为主,图像信息为辅的视频; ...

WebAV SDK(Web 视频编辑)V1 发布

前言 WebAV 是基于 WebCodecs 构建的 SDK,用于在 Web 平台上创建/编辑视频文件。 V1 对项目来说是里程碑版本,意味着 API 已经稳定,且功能的稳定性也经过了长时间的考验,可用于生产环境。 我在 20 年加入 B 站,开始接触 Web 音视频相关的知识(Web 播放器), WebCodecs API 在 21 年发布; 我预期 WebCode ...

纯 Web 视频剪辑

ZingAI.video 字影是采用纯 Web 技术实现剪辑功能的产品,欢迎体验 前言 WebCodecs API 为 Web 平台提供了音视频编解码能力,使得在 Web 平台(网页、Electron)上实现高效、专业的视频剪辑成品成为可能。 读者可阅读笔者的入门系列文章获取更详细的信息,或直接使用 [W ...

Google IO 分享 WebCodecs、OPFS 文字版

背景 2024 北京 Google I/O 邀请我参加合作者开发者论坛,主题是 "Build powerful Web App"; 笔者近期在公司项目中实践 WebCodecs,对应的开源项目是 WebAV,在 Web 音视频领域算是相对前沿的探索; 本文主要分享基于 WebCodecs、OPFS 实现的视频剪辑产品,探讨这些 API 还有哪些应用场景; W ...

WebCodecs 性能表现及优化思路

ZingAI.video 字影是采用 WebCodecs 构建的视频剪辑工具,可在这里体验视频导出的性能 笔者开源 WebAV 已经一年半,还写了系列文章帮助初学者入门 Web 音视频。 之前一直隐隐担心在 Web 平台处理音视频与 Native APP 会有明显性能差距,因 ...

WebCodecs 编码字符串(codec)介绍

笔者的 Web 音视频系列文章 视频播放经常会看到这样的字符串 video/mp4; codecs="avc1.4d002a",WebCodecs 编解码器初始化也需要配置 codec 参数,本文尝试简单介绍编码字符串含义。 视频编码分许多种类,每个种类还分多个版本,不同种类、版本对应的编解码算法、支持的能力(分辨率上限、色深等等)不同 ...

WebCodecs 开启 Web 音视频新篇章

你可以先略过下面的无聊文字,体验一番 WebCodecs 的实力 WebCodecs 是什么 WebCodecs 是一个 Web 规范,21 年 9 月份在 Chrome 94 中实现 WebCodecs 提供访问编解码能力的接口,可精细控制音视频数据 Web 音视频 API 存在什么问题 音视频技术在 Web 平台上的应用非常广泛,已有许多 Web ...

【译】WebCodecs 说明

本文翻译至 WebCodecs Explainer 问题与动机 已有许多 Web API 在内部使用媒体编解码器来支持特定用途,比如: HTMLMediaElement and Media Source Extensions WebAudio (decodeAudioData) MediaRecorder WebRTC 但是还没有一种通用的方式来灵活 ...

Web 音视频(六)图像素材处理

Web 音视频目录 前序章节介绍了如何在浏览器中解析、创建视频,以及给视频添加一些自定义素材(图片、音频、文字...); 本章介绍如何给图像素材加特效、加动画,实现转场、移动水印、图像滤镜美化等功能。 你可以跳过原理介绍,直接查看 WebAV 示例 素材动画 在视频制作中实现动画跟其他场景略有不同,因为视频 ...