Resposta isenta de royalties do Google para HEVC: uma análise do AV1 e o futuro dos codecs de vídeo

Há quase cinco anos, o Google lançou o VP9, ​​o codec de vídeo isento de direitos autorais que pretendia substituir o H.264 como o codec principal de streaming on-line e consumo de mídia. Embora o VP9 não tenha sido totalmente bem-sucedido nessa tarefa, lançou as bases para o codec da próxima geração do Google, o AOMedia Video 1 (AV1), que parece extremamente promissor.

Quando o VP9 foi lançado pela primeira vez, havia dúvidas substanciais sobre como ele se sairia contra o próximo codec HEVC, que foi apoiado pelos mesmos grupos que levaram à popularidade do H.264 sobre o TrueMotion VP3 do On2, TheMotion VP3 do On2, Theora do Xiph, Theora, VC-1 da Microsoft e muitos outros. . E, no entanto, aqui estamos 5 anos depois, e o VP9 conquistou o mundo. Embora o HEVC não tenha encontrado o suporte ao software, com o Edge sendo o único navegador de internet importante a suportá-lo (e mesmo assim, apenas em determinados processadores), o VP9 agora está inserido em todos os navegadores da web modernos, exceto no Safari, e sua natureza isenta de royalties foi um fator-chave na criação dessa situação.

Para enviar um produto com suporte HEVC, você precisa adquirir licenças de pelo menos quatro pools de patentes (MPEG LA, HEVC Advance, Technicolor e Velos Media), além de várias outras empresas, muitas das quais não oferecem termos de licenciamento padrão (em vez de exigir que você negocie os termos), o que pode custar centenas de milhões de dólares (e isso foi depois dos recentes cortes drásticos nas taxas de royalties do HEVC). Embora esses altos royalties já fossem problemáticos para produtos como Google Chrome, Opera, Netflix, Amazon Video, Cisco WebEx Connect, Skype e outros, eles excluem completamente o HEVC como uma opção para projetos como o Mozilla Firefox, ambos em nível econômico (o Firefox simplesmente não pode se dar ao luxo de desperdiçar centenas de milhões de dólares em royalties e centenas de horas de trabalho negociando todos os acordos de licenciamento necessários), em um nível prático (o Firefox precisa ser isento de royalties para ser enviado em muitos projetos de software livre) e em uma ideologia nível (a Mozilla acredita em uma Web livre e aberta, e isso não é possível se você promover padrões onerados por patentes).

Esses problemas impediram o Firefox (e o Chromium) de incluir a reprodução nativa do H.264 em muitas plataformas até alguns anos atrás (ainda exigindo um plug-in no Linux) e provavelmente impedirão o Firefox de suportar o HEVC até que suas patentes expirem no 2030 (ou possivelmente até mais tarde). Até hoje, o Firefox suporta apenas o H.264 de forma nativa, graças à oferta da Cisco de pagar todos os custos de licenciamento do Mozilla através do OpenH264, a fim de padronizar o H.264 para streaming no mercado até que o codec da próxima geração esteja pronto.

//www.xda-developers.com/files/2017/05/VP9-vs-VP8-vs-AVC-vs-HEVC-compression-artifact-comparison.webm

Comparação de artefatos de compactação em VP9, ​​VP8, AVC e HEVC, criados por Flugaal

E isso abriu a porta para o VP9. Por ser isento de royalties, o VP9 pôde ser implementado em qualquer plataforma ou serviço que o desejasse e também está recebendo um suporte substancial à aceleração de hardware. Além do Youtube, usá-lo em qualquer dispositivo que o suporte (como o uso reduzido de largura de banda é uma enorme economia de custos para o Youtube), o contêiner WebM (que suporta vídeo e áudio VPx no Opus ou no Vorbis) também está substituindo .gifs por vídeos silenciosos que são substancialmente menores em sites como imgur e gfycat, está sendo usado em toda a Wikipedia, foi adotado pelo Skype (que era a força motriz do desenvolvimento do Opus) e até adotado pela Netflix (começando com seus downloads para visualização offline), e migrando para o streaming regular no futuro).

No entanto, o VP9 por si só não foi suficiente . O Google quer uma compressão ainda melhor, especialmente para o Youtube e o Duo, onde um pequeno aumento na compactação de vídeo pode resultar em uma enorme economia de custos e uma grande melhoria na experiência do usuário. Portanto, o Google elaborou um plano para atualizar rapidamente sua linha de codec VPx, como acontece com o Chrome e alguns de seus outros produtos. O Google anunciou que planejava lançar o VP10 em 2016 e, em seguida, lançaria uma atualização a cada 18 meses para garantir uma progressão constante. Chegou ao ponto em que o Google começou a liberar o código para o VP10 e, de repente, o Google anunciou o cancelamento do VP10, e formou a Aliança pela Mídia Aberta (AOMedia).

Apesar de HEVC e VP9 serem os dois codecs da próxima geração mais populares, eles não eram os únicos. A Cisco estava desenvolvendo o Thor para uso em seus produtos de videoconferência e a Xiph estava desenvolvendo o Daala (um codec projetado para ser substancialmente diferente de todos os codecs anteriores, a fim de evitar qualquer possibilidade de reivindicação de patente). Todos os três codecs (Thor, Daala e VP9 / VP10) pareciam bastante promissores, mas os esforços divididos estavam sufocando seu desenvolvimento e adoção, portanto as três organizações se uniram e fundiram seus codecs em um (AV1) e criaram a Alliance for Mídia aberta para promover o desenvolvimento e a adoção deste codec conjunto. O AV1 visa pegar as melhores partes de cada um desses três codecs e fundi-las em um pacote isento de royalties que qualquer pessoa possa implementar.

Embora esteja demorando um pouco para mesclar Thor, Daala e VP10, o primeiro beta público do AV1 lançado em meados de 2016, o bitstream deve ser finalizado ainda este ano e parece que a Alliance for Open Media está se preparando para promover AV1. Alguns dos desenvolvedores envolvidos estão começando a dar palestras públicas sobre o assunto (como esta no FOSDEM) e parece que o Google pode promovê-lo no Google I / O nesta semana.

Esquemas de particionamento em forma de T, um dos muitos avanços no AV1

Esse suporte também não vem apenas do Google. A Alliance for Open Media inclui todos, desde designers de processadores (AMD, ARM, Broadcom, Chips & Media, Intel, Nvidia etc.) a desenvolvedores de navegadores (Google, Microsoft e Mozilla) a serviços de streaming e videoconferência (Adobe, Amazon, BBC R&D, Cisco, Netflix, Youtube, etc.). Espera-se que essas empresas tragam sua força substancial para implantar o suporte ao AV1, com os primeiros serviços de streaming prontos para trabalhar em apenas 6 meses após a finalização do formato bitstream e os primeiros decodificadores de hardware em 12 meses. Isso, por si só, trará um suporte substancial ao hardware do AV1 com bastante rapidez; no entanto, se tudo estiver alinhado, podemos até ver a aceleração parcial do hardware transportada para algum hardware já existente, como o que aconteceu com o VP9, ​​o que seria um grande impulso para a compatibilidade.

O streaming de vídeo é uma grande parte do tráfego total da Internet, e mesmo uma melhoria de alguns por cento na compactação pode ter efeitos massivos na rede como um todo e na experiência do usuário para esse aplicativo específico. O AV1 e o Opus tornarão possível um vídeo de qualidade decente em conexões de menor rendimento (abrindo o streaming de vídeo para mais situações e mais mercados) e permitirão uma qualidade ainda melhor do que antes em conexões de alto rendimento. Os dois também foram projetados com o uso de redes celulares em mente, com o AV1 e o Opus trazendo melhorias maciças na escalabilidade das mudanças nas velocidades de conexão, sem mencionar resoluções mais altas, taxas de quadros mais altas, espaço de cor expandido, suporte HDR (que ser vital para serviços como Netflix, Youtube e Amazon Video aproveitar ao máximo os novos monitores em dispositivos como o Samsung Galaxy S8 e o LG G6, com o último sendo agora capaz de tirar proveito do suporte HDR da Netflix recentemente adicionado em dispositivos móveis ) e menor latência que eles habilitarão quando combinados no contêiner WebM.

Obviamente, os grupos que promovem o HEVC não ficarão ociosos enquanto isso estiver acontecendo. Eles já começaram a fazer ameaças sobre o início de litígios de patentes contra o AV1, uma vez lançado, e a Alliance for Open Media está se esforçando para garantir que isso não aconteça. Eles estão realizando uma ampla revisão de código jurídico do AV1 para garantir que ele não viole nenhuma patente detida pela MPEG LA, HEVC Advance, Technicolor, Velos Media e outros. Essa forma de revisão de código foi muito bem-sucedida para o VP8 e o VP9, ​​os quais sobreviveram a todos os desafios legais. As ações da MPEG LA contra o VP8 e o VP9 foram vistas como potencialmente sem fundamento legal e, ao contrário, sendo puramente anticoncorrenciais. O DoJ estava investigando as ações da MPEG LA até que eles concordaram em desistir da ação e conceder ao Google permissão para sublicenciar o pool de patentes da MPEG LA para qualquer usuário do VP8 ou VP9. Embora provavelmente tenhamos tentativas semelhantes de interromper o AV1, o pool de patentes substancialmente expandido do Google e o número substancialmente aumentado de empresas que suportam o codec (graças à Alliance for Open Media) devem percorrer um longo caminho para garantir que sejam tratados em breve ordem.

É realmente emocionante ver as melhorias que o AV1 está trazendo para a codificação de vídeo, principalmente porque é livre de royalties. O enorme apoio que está recebendo (mesmo antes do lançamento) significará grandes coisas para o futuro do streaming de vídeo e da gravação local também. As melhorias do AV1 trarão melhor transmissão ao vivo de eventos, melhor bate-papo por vídeo (via WebRTC), arquivos menores para armazenamento local, qualidade inédita para streaming de vídeo (como HDR de 4k de alta qualidade em uma rede celular) e outros usos potencialmente ainda não pensamos, especialmente quando combinados com as velocidades aprimoradas das redes móveis 5G e Wi-Fi 802.11ax. O melhor de tudo é que o AV1 é apenas o começo. O Google tinha planos de lançamentos rápidos para o VPx, a fim de ver melhorias constantes (com dispositivos usando a tag de vídeo HTML5 para serem veiculados com a versão de mais alta qualidade que eles suportam), e talvez não tenhamos que esperar muito antes de falarmos em um aumento atualize para o AV2.


Como tem sido sua experiência com os codecs da geração atual?