Упростите вашу задачу с текстом! Пользуюсь удобный инструмент для работы со списками онлайн. Удаление дубликатов за пару кликов.