2020年7月2日
By 1月时特约编辑
专题文章

MPEG:发生了什么?

自1988年由莱昂纳多Chiariglione和Hiroshi Yasuda(来自日本电报电话公司)创立以来, 运动图像专家组(MPEG)在从模拟视频到数字视频的过渡中发挥了不可磨灭的作用. 根据 Chiariglione在全球范围内，依赖于MPEG标准的产品和服务的年价值约为1亿美元.5万亿美元，约占世界生产总值的2%.“当然, 没有人会怀疑MPEG视频编解码器在2019冠状病毒病危机期间在娱乐和商业中发挥的不可思议的价值.

2020年6月6日，这条信息显示在图1 出现在Chiariglione的MPEG网站上，宣布MPEG已经“关闭”.“稍微挖掘一下就发现，虽然基亚里里昂有, 事实上, 从MPEG分离, 事实上，MPEG并没有关闭, 尽管它进行了重大重组. 仍然, 如果有一座拉什莫尔山来纪念那些为数字视频的成功做出贡献的人, Chiariglione显然会有一个半身像, 这使得他与MPEG的分手意义重大，值得纪念.

MPEG关闭

图1. MPEG已关闭? 重点提供和图像编辑的空间.

所以，我们将在这个故事中做三件事. 首先，我们会告诉你发生了什么. 然后，我们将分享我们对Chiariglione与MPEG的分离将对未来产生的影响的想法. 第三, 我们一听说基亚里里昂的离别, 我们邀请读者就他和MPEG对数字视频的贡献发表一些看法. 只有少数读者做出了贡献，但我们将在下面分享他们的想法.

发生了什么事?

通过背景介绍，MPEG是标准制定组织，它为我们带来了MPEG-1, MPEG-2, H.264, 和HEVC, 多功能视频编码(VVC), 基本视频编码(EVC), 低复杂度增强视频编码(LCEVC)将于2020年推出. 从技术上讲，MPEG在国际标准化组织或ISO下运行. 从组织的角度来看，sc29(显示在顶部) Figure 2)由ISO和IEC联合技术委员会(ISO/IEC JTC 1)管理, 负责制定资讯及通讯科技的国际标准. JTC 1有22个小组委员会，其中包括29个小组委员会.

sc29下有多个工作小组, 包括第一工作组, 用于JPEG格式(由于空间原因未显示), 和第11工作组, 对MPEG, 直到6月6日都是由Chiariglione经营的. 每个工作组下面是子工作组, 包括图2中所示的那些函数及其各自的功能.

图2. 什么是重组前的MPEG，从描述在这里.

六六整顿后, 前两名保持不变, 但是第11工作组似乎被取消了，许多以前的子小组被推到了工作组(WG)的地位, 你可以看到 图3. 我根据6月4日在网上召开的全会第二十九次全体会议的决议，提出了这个新的结构, 2020. 根据加里·沙利文的留言, 请注意，MPEG协调小组可能会承担协调MPEG工作的主要角色，而不是SC29本身."

请注意，决议中的所有工作组和咨询小组都以MPEG开头，我将其从组织结构图中删除以节省空间. So, 该文件称音频编码工作组为MPEG音频编码工作组, 保留MPEG名称. 在一个 6月24日公告国际标准化组织表示，重组将于2020年7月17日生效.

重组后的MPEG

图3. 重组后的sc29和MPEG.

如图3所示，SC 29也选择了前面提到的Dr. 加里·沙利文, 他是微软员工，曾担任JCT-VC子小组的联合主席, 2020年接替铃木照彦成为集团主席. 根据一篇文章重新思考研究 (需要订阅), “据我们了解，Chiariglione曾被邀请担任一系列‘荣誉’角色，但他拒绝了, 显然，考虑到这些职位实际上是无能为力的，这是对他正直的侮辱. So, Chiariglione突然从ISO辞职，并宣布MPEG的死亡是他的“丢麦克风”时刻."

这一切意味着什么?

因此，我们的组织结构发生了变化，领导层也发生了变化. 这是什么意思?? 关于结构, Chiariglione在重组前后的多篇文章中分享了他的想法. 他在2018年2月的一篇文章中写道:MPEG能否克服视频“危机”??" 在详细描述了上图2中的MPEG组织结构之后，Chiariglione表示:

[MPEG]可能是ISO中一个独特的组织, 但它的存在是因为媒体系统的标准要求其组件之间有很强的相互作用. 正因为如此，MPEG举行了几次联合会议，在这些会议上，相关的小组讨论并就共同关心的问题达成一致. 开发复杂数字媒体标准的能力是MPEG标准在市场上取得成功的原因之一. 拆分MPEG将对创建有效标准的能力造成致命打击.

换句话说, 让多个子组在一个管理者的领导下一起工作是很有意义的, 虽然本质上这也是我们在重组后看到的. Chiariglione在重组后写的其他文章清楚地表明，他也认为ISO的结构是虚伪的, 混乱的, 封建, 标准最好从自底向上 (成员), 就像以前的MPEG一样, 比从上到下(由国家标准机构), 正如他所说的ISO是有效的. 老实说，我对ISO和MPEG的功能了解得不够，无法评估这些说法, 但它们是有趣的读物.

这对2020年即将发布的MPEG视频编解码器、VVC、EVC和LCEVC意味着什么? 如《重新思考研究 article, “今年即将推出的三种新的MPEG标准在技术基础上预计不会有太大的变化, MPEG-5第1部分EVC, 以及MPEG-5 Part 2 LCEVC. 这三个都是ISO/IEC标准, 从技术上讲，这三个都已经完成了, 因此，ISO SC29的组织变化应该只影响未来的ISO/MPEG标准, 而不是基于已经完成的MPEG标准. 当然, 这三个新兴标准的行业采用将取决于技术优点, 易于实现和业务案例, 比新版ISO SC29所说或所做的还要多."

所以编解码器显然会推出，但它们会茁壮成长吗?

chiarilione眼中的世界

Chiariglione不愿就本文直接置评, 但在他的许多著作中都清楚地表达了他的思想. MPEG在“没有MPEG的未来他写道，“MPEG赌了30年，有时赢，有时输.显然，他考虑过MPEG-2和AVC/H.264获胜，并写道:“MPEG LA开发了MPEG-2视频许可证. MPEG-2被广泛使用，而MPEG-4 AVC是一个非常成功的标准，可以自豪地承担“通用”属性，因为它也用于广播和在线流媒体."

另一方面，HEVC是亏损的，至少在流媒体方面是这样. 在同一篇文章中, Chiariglione写道, “7年后, MPEG-H HEVC专利持有人无法统一行动并提出一个体面的统一许可. HEVC用于广播，然而，用于流媒体是有限的.“关于HEVC，在”危机，原因和解决方案,他写道:“终于，每个人都意识到，旧的MPEG商业模式现在已经破产。, 该行业为新视频编解码器所做的所有投资(总计数亿美元)将化为乌有，AOM的免版税模式也将蔓延到其他业务领域."

很明显，Chiariglione认为AOM是MPEG的重要竞争对手, 他预测，如果AV1作为免版税的编解码器获得成功，视频编解码器和视频编解码器开发商的未来将是一个反乌托邦式的未来. In "没有MPEG的未来,他写道，“HEVC留下的空白已经被AOM的AV1规范填补了，AV1规范被广泛用于流媒体。."

In "危机，原因和解决方案,他继续说道:“AOM肯定会给视频编解码器市场带来急需的稳定性，但这将以技术进步的减少(如果不是完全停止的话)为代价。. 公司根本没有动力去开发新的视频压缩技术, 由于该领域的复杂性，成本非常高, 他们知道他们的资产将会被AOM在他们的视频编解码器中接受和使用."

他继续写道如何处理卡住的机器?,“在新的未来，媒体压缩和学术研究领域的数千个高薪工作将会消失，因为对新的压缩技术不再有迫切的需求。."

当然, 自从Chiariglione写了这篇文章之后，Sisvel推出了AV1和VP9的专利池, 所以AV1的免版税地位当然是有疑问的. 仍然, 这丝毫不会削弱AOM作为MPEG和MPEG编解码器创建方式的主要竞争对手的地位. (充分披露:作者正在咨询Sisvel关于这些池.)

总结, 在MPEG-2和AVC大获成功之后, Chiariglione认为MPEG在HEVC上栽了个大跟头，现在面临着一个主要的竞争对手AOM, 部分原因是HEVC的许可问题. 有了这个背景, 不难看出为什么加利里奥尼对sc29决定用加里·沙利文取代他感到愤怒, 谁受雇于微软, AOM的创始成员之一, MPEG的主要竞争对手，其成员抑制了HEVC的部署.

举个例子, Mozilla和Google都是AOM的创始成员, 和HEVC仍然不能在各自的浏览器中运行, 即使在HEVC硬件解码器的系统上(图4). 两家公司都可以很容易地搭载现有的硬件或软件HEVC解码支持的平台上，可能不会产生版税，因为这是Mozilla支持H.264播放，先使用基于硬件解码器在主机系统上可用，之后是思科OpenH.264二进制模块. Chrome不支持HEVC在Android上播放，尽管Android操作系统支持HEVC播放软件.

请注意，虽然CanIUse数据显示在图4中表明Edge不会播放HEVC, 我在运行Windows 10的惠普ZBook上尝试了HEVC播放Edge，效果很好. 然而，Chrome和Firefox却不是这样.

HEVC播放2020年7月

图4. AOM成员Mozilla (Firefox)和Google (Chrome)的浏览器仍然不支持HEVC播放.

当然, 微软是一家大公司, 标准和编解码器的开发也充满了友敌, 合作竞争。, 还有奇怪的同床异梦. 例如, 苹果在MPEG LA HEVC专利池中拥有专利，但却成为了AOM的创始成员。AOM成立27个月后). BBC拥有相同的专利池，也是AOM的(非创始)成员.

仍然, 在微软雷德蒙德园区的某个地方，显然有些员工希望MPEG就此消失, 以及沙利文的升任, 尽管他令人印象深刻，无可挑剔凭证从外面看，这就像让狐狸管鸡舍一样.

我问Chiariglione关于这种明显的利益冲突，他回答说，“无可奉告。.但他也表示，“对第29届最高委员会候选人的要求是，‘这个高级的、‘中立的’国际标准职位的候选人必须避免偏见，甚至避免出现利益冲突.“作为一个客观的局外人, 沙利文似乎不符合这个标准, 也许这解释了, 在某种程度上, Chiariglione的感觉是，尽管很明显生活在形式上, 事实上，MPEG已经死了.

对2020年作物的预测

So, 也许我们已经解释了恰里里昂的敌意, 但这对MPEG将于2020年推出的三种编解码器——多功能视频编码(VVC)的成功意味着什么?, 基本视频编码(EVC), 低复杂度增强视频编码(LCEVC)? 正如我在"MPEG计划在2020年推出3种编解码器对于这些编解码器，MPEG似乎有三个目标. 首先，要简化IP图景(并避免HEVC的另一个纠纷案)。. 第二，提供一个免版税的选择来对抗AOM和AV1. 第三, 提供一种cpu友好的替代方案，以停止新编解码器所需的繁重的计算复杂性.

在这些目标形成之前，VVC几乎完全诞生了，是HEVC的自然继承者. 根据 Chiriaglione, “最有可能的是，VVC专利持有者的数量比HEVC大得多,制作VVC, 在本质上, 另一个HEVC正在等待发生. 然而，在ISO和MPEG之外，媒体编码产业论坛于2018年成立，部分原因是 “为……提供论坛, 和鼓励, 讨论与部署和使用这些标准有关的知识产权许可问题, 以促进本宗旨的实现."

虽然VVC和MC-IF的陪审团仍然没有定论，但Chiriaglione并不乐观. VVC与MC-IF的探讨没有MPEG的未来,他说, “到目前为止, 然而, 外界尚未得知具体结果, 如果我们不考虑会议上组织的活动. MC-IF有31个成员，其中7个是许可实体.e. 略低于全体成员的四分之一). “行业”成员仅占HEVC专利持有人的一半. 在这种情况下，很难相信VVC会比HEVC表现得更好. 情况很可能会更糟，因为VVC在广播行业的普及甚至需要数年时间."

接下来是编解码器2, EVC有两个简介:第一个据称是免版税的, 第二个项目被四家公司的专利所阻碍, 哪一种方法可以大大简化授权流程. 关于EVC, Chiariglione说:“EVC很有前途，因为它提供了与AV1相当或更好的质量, 虽然低于VVC. 如果牌照公布，EVC可能会有机会. 然而，这还没有发生."

最后, LCEVC是一种低复杂性的替代方案，可以完全在软件中实现, 这是三种编解码器中唯一可能在2020年产生影响的. 据报道，LCEVC的IP几乎完全归V-NOVA所有, 这再次大大简化了授权情况. 关于LCEVC, Chiariglione评论, “一个体面的LCEVC许可可能会改变游戏规则，也是对VVC的另一个威胁，这可能意味着VVC专利持有人面临额外的压力，要求他们提供一个单一而体面的许可."

回到VVC, Chiariglione总结道:“EVC的成功有助于VVC的成功. 看到EVC(和AV1)的威胁, VVC专利持有者可以联合起来，提供一个体面的许可. 虽然我欢迎这样的发展，但我认为这种可能性很低."

SC 29对这一切有什么看法? 我问了沙利文两个问题, 一个是关于潜在的利益冲突，第二个是关于MPEG是否计划在未来采取措施改善其编解码器的许可状况. 他都没有回复, 尽管这是一个假期前的一周(7月4日)，他说MPEG“正在开会”.如果他真的回复了，我们会把他的回复贴在文章的末尾.

所以，我们得到的只是国际标准化组织的声明那。 “第29常设委员会遗憾地获悉. 莱昂纳多Chiariglione, 第29届sc29 /第11届工作组(MPEG)前召集人, 并对他在三十多年期间以这一身份提供服务表示感谢. 在此期间, MPEG已成为全球音频和视频编码以及媒体同步系统规范的卓越标准组织, 演讲, 储存及运输, 以及媒体编码和交付的其他方面."

分析

重复一下重新思考研究以上引用, “这三个新兴标准的行业采用将取决于技术优点, 易于实现, 商业案例, 比新版ISO SC29所说或所做的还要多.“我们对这三款游戏的表现和授权还有很多不了解的地方，因此无法预测其中任何一款游戏的成功, 尽管很难反驳Chiariglione的任何结论.

这次重组发生在十年前吗, 在AVC的鼎盛时期, 一个平稳的继任将会得到保证. 但是HEVC许可的混乱给MPEG视频标准蒙上了一层阴影，而AV1提供了一个明亮闪亮的替代方案, 即使Sisvel的AV1池可能会证明闪光的并不都是金子. 至少就视频编解码器而言，MPEG不再像以前那样牢不可破. 另一方面, Chiariglione也许没能带领MPEG走出困境, 因为他抱怨ISO机器太久了，他的声音似乎再也听不见了.

很明显, Chiariglione是一个乔布斯式的经理，他从视频编解码器开发社区中获得了突破性的成就，他在组织急需的时候离开了. 最大的问题是，加里·沙利文最终会是蒂姆·库克还是约翰·斯卡利.

行业的想法

我们向业内专家询问了他们对Chiariglione离职和MPEG变化的见解和看法, 我们在下面以稍微编辑过的形式呈现它们.

Thierry Fautier, Harmonic视频战略副总裁

MPEG被折叠成SC29意味着什么?

Not much; this is to me ISO politics

MPEG在音频/视频编解码器领域的影响是什么?

巨大的, 因为这是唯一涵盖音频压缩的标准, video, 以及广播和OTT流媒体的相关元数据. 这是每年数万亿美元收入的来源，可能雇佣了数百万人.

MPEG最大的失败是什么?

没有包含在ISO框架中的许可条款是一个痛点. 在AVC, 业界与AVC联盟(商业组织)和MPEG产业论坛(技术组织)联合起来对抗微软的VC-1. 在HEVC中什么也没做，因此出现了问题. 对于VVC, MC-IF [. 媒体编码产业论坛是为了促进VVC授权而创建的，所以还是有希望的.

拉里·霍恩，MPEG LA总裁兼首席执行官

MPEG LA向运动图像专家组(MPEG)及其创始人莱昂纳多Chiariglione和Hiroshi Yasuda致敬，他们引领世界进入数字媒体时代并超越数字媒体时代. MPEG动员和激励了世界上最聪明的工程师，他们毫不妥协地专注于质量和独立性，以此作为获得市场认可的途径, 让市场自己找到出路, 下定决心要实现它.

与MPEG的标准一样高，它的成就也更高. 数字视频就是从这个愿景中诞生的, audio, data, 系统授权将世界上的信息传送到家庭和电话.

MPEG LA很自豪能够发挥重要作用. 平衡对MPEG用户的合理访问与对MPEG发明者的合理回报和激励，有助于将消费电子历史上最广泛使用的标准推向世界市场. 市场的创造力释放了商业竞争力, 新产业的互操作生态系统, 以前难以想象的产品, 还有无数的就业机会，创造了数万亿美元的产品销售额, 连接国家, 文化, 个体作为一个整体, 提高了数十亿人的生活质量.

不要相信你读到的东西. MPEG的大门并没有关闭. 它的基础是坚实的，它的数据是流动的，它的工作将继续留下永恒的印记.

Tariq马利克全球鹰高级产品经理

在IFE行业中，对MPEG视频的需求已经非常普遍. 从早期的MPEG-1开始，我们就一直依赖于编解码器的发展. 航空公司从90年代初就开始使用椅背上的视频点播系统. 这些系统的OEM制造商要求为其平台提供MPEG交付产品，并强制要求使用特定的混合传输流文件. 快进到今天，仍然需要对这些遗留系统的支持, 但技术在不断发展. 感谢MPEG团队的辛勤工作和贡献.

Chris Henderson，华纳兄弟数字资产技术经理.

首先, 如果没有几个MPEG标准，我想我现在不会有自己的事业. MPEG-2和MPEG-4是令人惊叹的、影响深远的成就. 没有2, 数字广播将是专有的，财务混乱，行业质量参差不齐. 视频点播很可能不存在，或者会有很大的不同. 没有4,OTT也会一样糟糕，甚至更糟. 真正的, 微软, 苹果, 鸭子很可能是我们今天的视频霸主, 如果不是索伦森和其他人的话.

有人说MPEG通过制定解码标准使盗版变得更容易. 我说，所有的工具都可以用来做坏事，也可以用来做好事.

Yuriy Reznik，技术研究员和研究主管，Brightcove, Inc.

对于数字媒体标准的成功，没有人的贡献能超过Dr. 莱昂纳多Chiariglione. 他在30多年前创建了MPEG标准组织, 并引领它定义了当今最基本的媒体编解码器和格式:MPEG-2, MP3, AAC格式, AVC, HEVC, 破折号, 等. "

在我看来，HEVC已经得到了广泛的应用. 它用于有线/广播, 以便交付给苹果设备, 以及将UHD/HDR内容传送到UHD电视和其他支持UHD的设备. 授予, 它的覆盖范围不像MPEG-2或AVC那样广泛和普遍, 但这是非常重要的.

我相信AV1将用于大量的流媒体流量.

MPEG刚刚被家长会SC29“吸收”了, 哪个最有可能继续自称为“MPEG”,但MPEG的最初创始人- Dr. Leonardo Chariglione出来了，MPEG的不同子组-如音频，视频，JVET等., 已成为第29届会议下新的独立工作小组, 现任主席成为召集人.

在我看来, 这次重组标志着MPEG时代的结束, 我们知道的方式, 莱昂纳多是MPEG所做的大多数事情的一个明确的远见卓识和推动力量. 它以结束“格式之战”的承诺开始，并实现了这一承诺主要是MPEG-1, MPEG-2和MPEG-4/AVC(又名H.264). 但MPEG的记录并非一尘不染, 因为曾经有一段时间，专有编解码器占据了市场——比如上世纪90年代末的流媒体领域的真正的Video和Windows Media, 最近还有来自AV1的挑战, 或Opus和杜比编解码器在音频空间. 最近的MPEG视频编解码器阵列- vvc, EVC, lcevc将于2020年发布，并且在能力上有相当大的重叠，这也引发了对该组织重点的质疑, 它完全听取了行业的需求. 但希望在新的结构和管理下，MPEG的新时代和新灿烂的日子还在前方.

[编者注:这个故事的早期版本错误地指出了SC 29的现任主席. 20年7月7日，这篇文章经过编辑，澄清了AOM与HEVC的竞争立场.]