Supprimer les doublons d’un CSV

Étapes

1. Ouvrez le CSV dans Rowlode.
2. Cochez Supprimer les lignes en double.
3. Laissez la liste de colonnes vide pour comparer les lignes entières, ou sélectionnez des colonnes clés (Ctrl / ⌘ pour en choisir plusieurs), par exemple email.
4. Choisissez d’ignorer ou non la casse et les espaces en début/fin, puis cliquez sur Appliquer. La ligne de résultat indique combien de doublons ont été supprimés.
5. Exportez le résultat, ou vérifiez-le d’abord dans le tableau.

Quelle ligne est gardée ?

La première occurrence, dans l’ordre du fichier (avec plusieurs fichiers : dans l’ordre de la liste). Les copies suivantes sont écartées. Combinez avec un filtre pour, par exemple, garder une ligne par client d’un seul pays.

Fonctionnement et limite

Rowlode garde une empreinte de 64 bits de chaque ligne (ou clé) distincte au lieu de la ligne elle-même : des dizaines de millions de lignes tiennent en mémoire. Pour confondre deux lignes différentes, il faudrait qu’elles aient la même empreinte de 64 bits : pour 100 millions de lignes, la probabilité est d’environ 1 sur 3 700. Les cellules vides en fin de ligne ne rendent pas les lignes différentes.