Netflix: como funciona essa máquina

Por James Nicolai*

Nos horários de pico, o Netflix responde por cerca de um terço do tráfego de internet entre consumidores na América do Norte. Na semana passada, um dos engenheiros da empresa descreveu como o serviço leva todos esses filmes e séries para a sua tela.A empresa opera sua prória rede de entrega de conteúdo (CDN – Content Delivery Network), uma estrutura global de servidores que fazem cache de conteúdo perto de onde ele será visualizado. O cache local reduz os custos de banda e facilita aumentar a escala do serviço em uma área ampla.

A Netflix dependia de provedores terceirizados – como  Akamai e Level 3 – para fazer esse trabalho de armazenamento e distribuição, mas há dois anos começou a construir sua própria rede CDN, chamada Open Connect. Agora entrega todo o conteúdo por essa rede, explicou o diretor de arquitetura da Netflix, David Fullagar, em uma palestra durante a conferência de data centers do Uptime Institute, nos EUA.

A empresa também desenvolve seu próprio hardware de armazenamento, feito sob medida para streaming de vídeo. Utiliza dois tipos de servidores: um baseado em drives de HD e outro em flash drives; ambos são otimizados para uso em alta densidade e baixo consumo de energia.

Os mais usados são os sistemas de disco rígido (HD). Eles colocam 36 discos de 8,9cm em um servidor de cerca de 15cm de altura (unidades com quatro racks) e 60cm de profundidade. Cada servidor armazena cerca de 100 Terabytes de dados e realiza streaming de 10 a 20 mil filmes ao mesmo tempo, afirma Fullagar. Existem cerca de mil sistemas de armazenamento no total, explica.

Os equipamentos são atualizados cerca de uma vez ao ano com os drives mais recentes e processadores Intel que consomem menos energia. Esse sistema carrega os servidores com os filmes e séries de TV inteiros antes de enviá-los, porque mesmo em redes de alta velocidade leva tempo para carregar 100TB de conteúdo remotamente.

Os servidores rodam principalmente software de código aberto – sistema operacional BSD, nginx web server e o software de roteamento BIRD – com uma camada do Netflix por cima.

A biblioteca de conteúdo é gigante – mais  de 1 petabyte, o equivalente a 1 milhão de GB. Durante os períodos mais calmos, entre meia-noite e a hora do almoço, pré-carrega os servidores com os conteúdos que o sistema “pensa” que as pessoas vão querer assistir, reduzindo a largura de banda nos horários de pico. Para sair da CDN aos usuários finais, o conteúdo precisa ser carregado pelos ISPs locais (provedores de internet), que se conectam à CDN de duas maneiras.

Atualmente, a Netflix possui servidores em 20 locais diferentes de transmissão, e “muitas dezenas” de provedores também possuem os seus instalados na empresa, diz Fullagar. Para o provedor, ter o conteúdo no local reduz seus custos de largura de banda.

Existem muitas razões para a Netflix operar sua própria CDN. Com o serviço respondendo por uma porção tão grande do tráfego, é melhor ter uma relação direta com os provedores do que trabalhar via empresas como a Akamai.

Isso também dá ao Netflix controle “ponto a ponto” da sua rede, fornecendo mais oportunidades para otimizar o sistema. Seus servidores são feitos para o streaming de filmes, por exemplo, com os discos colocados cuidadosamente na horizontal, para minimizar “pontos de calor” ou áreas de superaquecimento.

A empresa também faz vários tipos de mapeamento inteligente na rede, para descobrir os melhores locais para fazer o streaming de cada filme. São cerca de 50 milhões de assinantes, na América do Norte, América do Sul e em partes da Europa, devendo expandir isso no futuro próximo.

Também usa o Amazon Web Services, para tarefas como rodar seu site e seu mecanismo de recomendações. Além disso, os estúdios de cinema fazem upload de seus conteúdos para o serviço na nuvem da Amazon, onde o Netflix os codifica para o seu formato antes de distribuir a suas redes. “Com a Amazon somos um cliente relativamente pequeno, mas pelo lado da CDN nós somos um player muito grande”, explica Fullagar.

Cerca de 40 pessoas trabalham ali, metade focadas em software e o restante dividido entre 10 engenheiros de rede e 10 ligados à operação. Mas construir a rede própria de conteúdo não foi uma tarefa fácil. Na época em que o Netflix começou a liberá-la, há cerca de dois anos, a Tailândia foi devastada por inundações que destruíram grande parte do fornecimento de discos rígidos do mundo. “Não diria que nos tirou do caminho, mas foi problemático”, lembra o executivo.

Texto publicidado originalmente no site Tech Hive e no IDG Now; clique aqui para ler o original. 

Deixe uma resposta