Remover duplicados de um CSV

Passos

1. Abra o CSV no Rowlode.
2. Marque Remover linhas duplicadas.
3. Deixe a lista de colunas vazia para comparar linhas inteiras, ou selecione colunas-chave (segure Ctrl / ⌘ para escolher várias), por exemplo email.
4. Escolha se quer ignorar maiúsculas e espaços no início/fim e clique em Aplicar. A linha de resultado mostra quantos duplicados foram removidos.
5. Exporte o resultado ou confira antes na tabela.

Qual linha é mantida?

A primeira ocorrência, na ordem do arquivo (com vários arquivos, na ordem da lista). As cópias seguintes são descartadas. Combine com um filtro para, por exemplo, manter uma linha por cliente de um só estado.

Como funciona e qual o limite

O Rowlode guarda uma impressão digital de 64 bits de cada linha (ou chave) distinta em vez da linha, então dezenas de milhões de linhas cabem na memória. Para confundir duas linhas diferentes, elas teriam de ter a mesma impressão de 64 bits: com 100 milhões de linhas a chance é de cerca de 1 em 3.700. Células vazias no final não tornam as linhas diferentes.