Transferir dados para o Armazenamento S3

Você pode transferir dados para o nosso armazenamento automaticamente, usando os recursos do painel de controle, ou com ferramentas de terceiros, como o Rclone. Neste artigo, vamos abordar os dois métodos.

Transferir dados automaticamente

Você pode transferir dados de qualquer armazenamento compatível com S3 para o armazenamento da Hostman pelo painel de controle. Também é possível transferir dados entre buckets dentro do nosso próprio armazenamento.

Para iniciar a transferência:

1. Acesse a seção Armazenamento S3, clique no bucket desejado e abra a aba Transferência de dados.

2. Informe as credenciais de conexão do armazenamento de terceiros. Você pode solicitar essas informações ao seu provedor atual.

3. Clique em Iniciar transferência.

O tempo de transferência pode variar dependendo da quantidade de objetos no bucket de origem. O progresso da cópia será exibido na página do bucket com um indicador amarelo.

Para migrar dados que são alterados com frequência, recomendamos combinar esse método com a sincronização manual descrita abaixo.

Observe que a opção Transferência de dados copia os arquivos e sobrescreve os existentes. Para evitar sobrescritas, é necessário utilizar sincronização.

Migrar dados usando o Rclone

Esse método é mais indicado para transferir grandes volumes de dados (com milhões de objetos) e dados que sofrem alterações constantes.

Você vai precisar de:

• Um bucket criado no Armazenamento S3 da Hostman.

• Um computador ou servidor virtual com o Rclone instalado.

O processo consiste em várias etapas, que veremos a seguir.

Etapa 1. Preparar o ambiente

Obtenha as credenciais do bucket de origem com o provedor terceirizado e configure o Rclone.

Adicione dois perfis (remotes): um com as credenciais do provedor terceirizado e outro com as credenciais do nosso armazenamento.

Nos exemplos deste artigo, usaremos os nomes de perfil other-provider e hostman.

Etapa 2. Realizar a cópia inicial dos dados

Para grandes volumes de dados, o processo pode levar bastante tempo. Por isso, é recomendável executar o comando de cópia em uma sessão do tmux ou screen. Assim, o comando continuará sendo executado em segundo plano mesmo que você se desconecte do servidor.

Inicie uma nova sessão do tmux com o comando:

tmux new -s storage-migration

Inicie a cópia dos objetos com o comando abaixo, inserindo seus próprios dados:

rclone copy -v -P --log-file=rclone.log --transfers=128 [other-provider]:[bucket-name] hostman:[bucket-name]

A opção --transfers define o número de uploads paralelos. Quanto maior o número, mais rápida será a cópia. No entanto, o número máximo de uploads simultâneos é limitado pela capacidade do computador que executa o comando. Se ocorrerem erros, reduza esse valor.

Você pode se desconectar da sessão do tmux pressionando Ctrl+B, soltando as teclas e, em seguida, pressionando D. A mensagem [detached (from session storage-migration)] será exibida.

Para reconectar à sessão ativa do tmux, use o comando:

tmux a

Etapa 3. Sincronizar os dados

Aguarde a conclusão da cópia e, em seguida, inicie a sincronização:

rclone sync -v -P --log-file=rclone.log --transfers=128 [other-provider]:[bucket-name] hostman:[bucket-name]

Somente os arquivos novos ou alterados serão copiados para o bucket de destino.

Etapa 4. Realizar a sincronização final

Para garantir a consistência dos dados, será necessário interromper temporariamente o serviço. Durante esse período, execute a sincronização final:

rclone sync -v -P --log-file=rclone.log --transfers=128 [other-provider]:[bucket-name] hostman:[bucket-name]

Essa sincronização deve ser mais rápida que a anterior, desde que não tenha passado muito tempo e não tenha sido gerado um grande volume de novos dados.

Etapa 5. Configurar o serviço para usar o novo armazenamento

Após a sincronização final, configure os serviços para utilizar o novo armazenamento.

Quando os serviços estiverem funcionando corretamente com o novo armazenamento, você poderá excluir os dados do armazenamento antigo.