Cómo eliminar líneas duplicadas (y tres casos límite)

La operación básica

Eliminar líneas duplicadas: entra una lista y cada línea que apareció más de una vez sale una sola vez. Se conserva la primera aparición; las posteriores se descartan.

Para la mayoría de las listas, esto es lo que quieres y la herramienta lo hace sin más. Abre Eliminar Duplicados, pega, copia el resultado. Listo en cinco segundos.

La parte interesante es qué cuenta como «duplicado». Tres casos límite cubren la mayoría de las dudas que surgen:

Caso límite 1 — sensibilidad a mayúsculas

¿Apple y apple son la misma línea?

Para el texto legible (nombres, palabras, direcciones), casi siempre: sí. Trátalas como duplicados y deduplica a una. Para el texto tipo código (identificadores que distinguen mayúsculas, nombres de archivo en Linux, URLs con rutas que distinguen mayúsculas), no. Son distintas y las dos deben sobrevivir.

Por defecto: sin distinguir mayúsculas en la herramienta de TextKit, porque eso coincide con la necesidad más común. Desactívalo si necesitas una comparación que distinga mayúsculas.

Caso límite 2 — espacios

Tres líneas que parecen idénticas:

alice
alice
 alice

¿Son duplicados? Con comparación estricta, solo las dos primeras; la tercera tiene un espacio al inicio. Con el recorte activado, las tres pasan a ser alice y se deduplican a una.

La respuesta correcta depende de qué produjo el espacio al inicio:

• Si es un artefacto del pegado (una columna de una hoja de cálculo, texto web copiado), recorta y trátalas como duplicado.
• Si tiene significado (configuración indentada, código con formato), mantén la comparación estricta.

Para el trabajo típico de limpieza de listas, recorta antes de deduplicar. Activa «recortar espacios». Cuando el problema son los espacios dobles o sueltos dentro de las líneas en lugar de alrededor, limpia primero el texto con la herramienta Eliminar Espacios.

Caso límite 3 — conservación del orden

Tienes una lista. Quieres quitar los duplicados. También quieres las líneas restantes en el mismo orden que la entrada.

Esto necesita deduplicación estable. Se conserva la primera aparición de cada línea; el orden de esas primeras apariciones coincide con la entrada. La mayoría de las herramientas en el navegador lo hacen; sort -u en el shell no (ordena, lo que pierde el orden de entrada).

Para una deduplicación estable en el shell, usa awk '!seen[$0]++'. Es la línea canónica. Recorre la entrada, registra cada línea en un arreglo asociativo e imprime solo las primeras apariciones. El orden se conserva.

Las herramientas en el navegador lo hacen de forma automática. La herramienta Eliminar Duplicados de TextKit usa por defecto la deduplicación estable; tienes que optar por el orden.

Ejemplo resuelto — limpiar una lista de contactos

Tienes una columna de CSV con direcciones de correo con estos problemas:

alice@example.com
Alice@example.com
alice@example.com 
bob@example.com
ALICE@EXAMPLE.COM

La tubería de limpieza:

1. Recortar espacios. Quita el espacio al final de la fila 3.
2. Minúsculas. Normaliza las variaciones de mayúsculas.
3. Deduplicar. Colapsa las cuatro filas alice@example.com en una.

La herramienta Eliminar Duplicados de TextKit tiene las tres como interruptores. Actívalos, pega, copia. La salida:

alice@example.com
bob@example.com

De cinco filas a dos. El patrón de limpieza estándar para cualquier lista de contactos, ID o identificadores.

La herramienta correcta según el tamaño de la lista

Para el caso de flujo típico (limpiar un pegado, deduplicar una columna), el navegador es la herramienta más rápida de principio a fin, porque el viaje de ida y vuelta a Excel o al shell cuesta más tiempo que la deduplicación en sí.

La operación inversa — encontrar duplicados

A veces quieres ver los duplicados en lugar de quitarlos. Dos patrones:

• «Muéstrame solo las líneas que aparecieron más de una vez». Shell: sort | uniq -d.
• «Muéstrame el conteo de cada línea única». Shell: sort | uniq -c | sort -rn. Ordenado por frecuencia de mayor a menor.

Para los equivalentes en el navegador, la herramienta Buscar y Reemplazar con regex puede manejar el conteo de frecuencia con fragmentos de JavaScript, o el COUNTIF de Excel en una columna auxiliar.

El resumen en dos líneas

Para el 95 % del trabajo de deduplicación: abre la herramienta Eliminar Duplicados, pega, activa el recorte y el ignorar mayúsculas si hace falta, copia. Para listas muy grandes o tuberías: awk '!seen[$0]++' input.txt.

Para la referencia más amplia sobre las operaciones con listas, mira operaciones con listas: la guía completa. Para las operaciones relacionadas de ordenar y mezclar, mira cómo ordenar líneas alfabéticamente y cómo mezclar líneas (Fisher-Yates).