Удаление дубликатов строк: сортировка и очистка

Удаление дубликатов строк

Этот инструмент разбивает вставленный текст на отдельные строки и оставляет только уникальные, удаляя каждую строку, которая повторяется дальше в списке. Четыре отдельных переключателя определяют, когда две строки считаются одинаковыми: учёт регистра, обрезка пробелов, удаление пустых строк и то, сортируется ли результат по алфавиту или остаётся в исходном порядке.

Как это работает

Входной текст разбивается по каждому переносу строки, и каждая оставшаяся строка сравнивается с уже встреченными. При включённой обрезке пробелов, что является настройкой по умолчанию, начальные и конечные пробелы каждой строки удаляются перед сравнением, поэтому строка с лишним пробелом в конце больше не считается отличной от той же строки без этого пробела. При включённом удалении пустых строк, также по умолчанию, пустые строки, оставшиеся после обрезки, удаляются напрямую, а не считаются дубликатами друг друга. Каждая строка сравнивается в нижнем регистре, если не включён учёт регистра; поэтому "Молоко" и "молоко" по умолчанию объединяются в одну строку и остаются раздельными только при включении этого переключателя. Первое появление строки сохраняется, последующие повторения удаляются. При включении сортировки по алфавиту оставшиеся строки переупорядочиваются от А до Я вместо сохранения порядка вставки.

Пример

При вставке этого списка покупок из шести строк, с включёнными обрезкой пробелов и удалением пустых строк и выключенным учётом регистра, остаются четыре уникальные строки: Молоко, Хлеб, Масло и Яйца. Панель результатов показывает 6 строк всего, 2 удалено и 4 осталось, потому что третья строка была лишь повторением первой в нижнем регистре, а четвёртая строка была второй с лишним пробелом в конце. При включении учёта регистра результат меняется: "молоко" теперь считается отдельной строкой от "Молоко", поэтому остаётся 5 строк вместо 4, и удаляется только 1.

Ввод:
Молоко
Хлеб
молоко
Хлеб 
Масло
Яйца

Результат (без учёта регистра, обрезано, без пустых строк):
Молоко
Хлеб
Масло
Яйца

При одновременно включённой сортировке по алфавиту те же четыре строки возвращаются как Масло, Молоко, Хлеб, Яйца, в алфавитном порядке вместо порядка вставки. Эта сортировка не учитывает регистр, поэтому "Молоко" и "молоко" оказались бы рядом друг с другом даже при включённом учёте регистра. Числа Всего, Удалено и Осталось обновляются при каждой обработке списка, поэтому эффект каждого переключателя виден сразу.