Иногда в повседневной компьютерной деятельности возникает задача найти дубликаты файлов. Причин для этого может быть множество: нехватка места на жестком диске, попытки уменьшить энтропию в своих файлах, разобраться со сброшенными в разное время фотографиями с фотоаппарата и множество других нужных случаев.
В сети можно найти большое количество программ, которые позволяют искать дубликаты файлов. Но зачем искать какие-то программы, если шикарный инструмент для такой работы обычно всегда под рукой. И называется этот инструмент Total Commander(TC).
В этой статье я покажу все методы на основе Total Commander версии 8.5, в этой версии поиск дубликатов файлов стал очень богат функционально.
!!!Маленькое важное отступление. Что нужно понимать под словом дубликат файла? Два файла ИДЕНТИЧНЫ только тогда, когда они полностью совпадают побитно. Т.е. любая информация в компьютере представлена последовательностью нулей и единиц. Так вот, файлы совпадают только тогда, когда у них полностью совпадает последовательность нулей и единиц, из которых эти файлы состоят. Все разговоры о том, что можно сравнить два файла по какому-либо другому признаку, глубоко ошибочны.
В TC есть два, различающихся по своей сути, метода поиска дублирующихся файлов:
- Синхронизировать каталоги;
- Поиск дубликатов;
Их особенность и применение лучше всего показать на примерах.
1.Синхронизация каталогов.
Данный метод применяется тогда, когда у вас две сравниваемые папки имеют идентичную структуру. Это обычно бывает во многих случаях, вот несколько из них:
- Вы регулярно делали архив своей рабочей папки. Через какое-то время вам понадобилось выяснить, какие файлы были добавлены или изменены с момента создания архива. Вы распаковываете весь архив в отдельную папку. Структура папок в нем практически совпадает с рабочей. Вы проводите сравнение двух папок «исходной» и «восстановленной из архива» и легко получаете список всех измененных, добавленных или удаленных файлов. Пара несложных манипуляций — и вы удаляете из восстановленной папки все дубликаты файлов, которые есть в рабочей.
- Вы работаете в папке на сетевом диске и регулярно делаете копию к себе на локальный диск. Со временем ваша рабочая папка стала довольно большой и время, затрачиваемое на полное копирование, стало очень большим. Чтобы не копировать каждый раз всю папку, можно сначала провести сравнение с резервной и скопировать только те файлы, которые были изменены или добавлены, а также удалить в резервной папке файлы, которые были удалены из основной.
Когда вы войдете во вкус, почувствуете всю предоставленную мощь этого метода, вы сами сможете придумать тысячи ситуаций, когда метод синхронизации каталогов окажет вам огромную помощь в работе.
Итак, как же все происходит на практике. Приступаем.
Предположим у нас есть основная папка «Рабочая», в которой лежат файлы, с которыми происходит работа. И есть папка «Архив», в которой лежит старая копия папки «Рабочая». Наша задача найти в обеих папках дублирующиеся файлы и удалить их из папки «Архив».
Открываем TC. В правой и левой панелях открываем сравниваемые папки:
Нажимаем меню «Команды»-«Синхронизировать каталоги…»
Открывается окно сравнения каталогов
Далее нам необходимо установить параметры сравнения. Ставим галочки в параметры «с подкаталогами», «по содержимому», «игнорировать дату»
- «с подкаталогами» — будут сравниваться файлы во всех подкаталогах, указанных папок;
- «по содержимому» — вот ключевая опция, которая заставляет TC сравнивать файлы ПОБИТНО!!! В противном случае, файлы будут сравниваться по имени, размеру, дате;
- «игнорировать дату» — эта опция заставляет TC показывать различающиеся файлы, без попытки автоматического определения направления будущего копирования;
!!! Сравниваться будут файлы только с одинаковыми именами!!! Если файлы идентичны, но они имеют разное имя, то они не будут сравниваться!
Нажимаем кнопку «Сравнить». В зависимости от объёма файлов, сравнение может идти очень долго, не пугайтесь. В конце концов сравнение закончится и в нижней строке состояния(на рисунке секция 1) отобразится результат:
Если кнопки в секции «Показывать» (на рисунке секция 2) нажаты, то вы увидите результат сравнения для каждого файла.
— эта кнопка включает отображение файлов, которые есть в левой панели, но которых нету в правой;
— эта кнопка включает отображение идентичных файлов;
— эта кнопка включает отображение различающихся файлов;
— эта кнопка включает отображение файлов, которые есть в правой панели, но которых нету в левой;
Если у вас, изначально, все кнопки отображения выключены, то результат сравнения можно оценить только по строке состояния (на рисунке выше секция 1), в данном случае мы видим что сравнились 11 файлов, из которых 8 файлов являются одинаковыми, 2 файла различаются, и еще в левой панели имеется файл, которого нет в правой панели.
Для выполнения нашего задания необходимо оставить отображение только идентичных(одинаковых) файлов, поэтому все остальные кнопки отображения выключаем
Теперь у нас остались только идентичные файлы, и мы спокойно можем удалить их в папке «Архив». Для этого выделяем все файлы. Проще всего это сделать нажатием универсальной комбинации CTRL+A. Или сначала выделить мышкой первую строчку, потом нажать на клавиатуре клавишу SHIFT и не отпуская ее выделить мышкой последнюю строчку. В результате у вас должно получиться вот так:
Заключительным шагом мы нажимаем правой клавишей мышки на любую строку и в открывшемся меню выбираем пункт «Удалить слева»
TC любезно переспрашивает нас о нашем желании,
и если мы нажимаем «ДА», то он удаляет все помеченные файлы в папке «Архив».
После этого, автоматически, происходит повторное сравнение двух папок. Если вам не нужно повторное сравнение, то процесс можно прервать, нажав на кнопку «Прервать» или нажать клавишу ESC на клавиатуре. Если повторное сравнение не было прервано, и мы включили все кнопки отображения, то мы увидим вот такое окно
Все. Поставленная задача выполнена. Все одинаковые файлы найдены и удалены в папке «Архив».
Обучающее видео по теме
2.Поиск дубликатов.
Коренное отличие данного метода от метода синхронизации каталогов заключается в том, что TC игнорирует имена сравниваемых файлов. Фактически, он сравнивает каждый файл с каждым, и показывает нам идентичные файлы как бы они не назывались! Такой поиск очень удобен, когда вы не знаете ни структуры папок, ни имен сравниваемых файлов. В любом случае, после поиска дубликатов, вы получите точный список идентичных файлов.
Поиск дубликатов я покажу на одной практической задаче, поиске дубликатов личных фотографий. Довольно часто вы сбрасываете в компьютер фотографии со своих цифровых гаджетов. Частенько ситуация запутывается, что-то сбрасывается по многу раз, что-то пропускается. Как быстро удалить файлы, сброшенные несколько раз? Очень просто!
Приступаем.
Предположим, вы всегда сбрасываете все свои фотографии в папку «ФОТО» на диске D. После всех сбросов папка имеет примерно такой вид:
Как видим, некоторые файлы находятся в папках, названных по дате съемки, некоторые сброшены в корень папки «_Новые» и «_Новые1»
Чтобы начать поиск дубликатов открываем в любой панели TC папку, в которой будем искать. В нашем случае это папка «ФОТО»
Далее нажимаем на клавиатуре комбинацию клавиш ALT+F7 или в меню выбираем «Команды»-«Поиск файлов»
Открывается окно стандартного поиска TC. Строку «Искать файлы:» оставляем пустой, тогда будут сравниваться все файлы.
Затем переходим на закладку «Дополнительно» и выставляем галочки «Поиск дубликатов:», «по размеру», «по содержимому» и нажимаем «Начать поиск».
Поиск может идти ОЧЕНЬ долго, не надо этого пугаться, так как происходит огромное количество сравнений большого объёма файлов. При этом в строке состояния показывается процент выполнения
Когда поиск закончится, откроется окно результатов поиска, в котором нажимаем кнопку «Файлы на панель»
В окне поиска и в окне панели идентичные файлы собраны в секции, отделенные пунктирными линиям
В каждой секции отображается имя файла и полный путь к файлу. Имена ИДЕНТИЧНЫХ файлов могут быть абсолютно различными!
В данном случае видно, что одна и таже фотография записана ТРИ раза, причем два раза под одним именем(IMG_4187.JPG) а третий раз эта фотография записана под совершенно другим именем(IMG_4187_13.JPG).
Далее остается выделить ненужные одинаковые файлы и удалить их. Это можно делать вручную, выделяя каждый файл нажатием клавиши Ins. Но это долго и не эффективно. Есть более правильные и быстрые способы.
Итак, наша задача состоит в том, чтобы удалить повторяющиеся файлы в папках «_Новые» и «_Новые1».
Для этого нажимаем на дополнительной клавиатуре, справа большую клавишу [+]. Обычно этой клавишей в TC выделяются файлы по маске. Эту же операцию можно сделать через меню «Выделение»-«Выделить группу»
При этом открывается окно «Выделение дубликатов», в котором мы переходим на вкладку «По каталогам»
Изначально на вкладке «По каталогам» выделены все каталоги, найденные при поиске
Ставим галочку «Также выбрать подкаталоги(при выделении вручную или по шаблону)» и нажимаем кнопку «Снять со всех». При этом выделение в списке убирается со всех каталогов
Теперь остается выделить вручную, нажатием мышки, в списке те каталоги, в которых необходимо удалить дублирующиеся файлы. При этом выделятся все подкаталоги в выделенном каталоге
Все, нажимаем кнопку «ОК» и опять попадаем в панель с найденными файлами. Только теперь все нужные дублирующиеся файлы уже помечены красным. Обратите внимание на секцию из трех идентичных файлов. В ней выделены два из трех, как и было нужно.
Все, остается только удалить выделенные файлы стандартными способами TC. Можно нажать на клавиатуре F8, можно клавишу DEL, можно нажать кнопку «F8 Удаление» на экране. TC вас еще раз переспросит о вашем желании удалить файлы,
нажимаем «Да» и все, файлы удалены! В панели остались только не удаленные уникальные файлы.
Описанный выше способ не является полной инструкции по поиску и удалению дубликатов. В окне «Выделение дубликатов» заложено значительно больше возможностей по выделению файлов. Полное описание заняло бы очень большое место.
Обучающее видео по теме
Пусть данные примеры послужат вам стартовым толчком для начала эффективных манипуляций с вашими файлами.
Спасибо, очень помогло!
Пожалуйста! 🙂
Спасибо!
Total Commander — это сила!)
Спасибо тебе, добрый человек!
Не просто помогли, а спасли. Задолбался я чистить в ручную каталоги с 2006 года. А тут за пару часов справился со всеми документами и фотографиями!!!
Очень рад!
как скачать приложение?
С официального сайта https://www.ghisler.com/download.htm
Вышла новая версия 9.12 и программа возможно найти psd?
Посмотрел версию 9.12. С точки зрения поиска дубликатов ничего нового. Увы, с плагином для просмотра файлов PSD не помогу. Просто не пользуюсь.
Очень помогло. Спасибо за статью.
На здоровье!
Спасибо большое, помогло очень.
Пожалуйста!
Огромное спасибо!Столько искала в Интернете, как удалить дубликаты! Ваше объяснение самое понятное и четкое. Наконец-то у меня все получилось. Еще раз большое спасибо!
Спасибо за теплые слова!
Искать дубликаты надо по DOS-имени иначе не все найдёте.
Добрый день. Как бы с помощью Total Commander найти папки с одинаковыми именами? Пробовал во вкладке «дополнительно» поставить атрибут «Каталог», а остальгные галочки не трогал (полузатемненные), и затем выбрал «поиск дубликатов» — «по имени». Итог — ноль совпадений, хотя дубли папок точно есть. Может что-то не так делаю?
Добрый. Увы, поиск дубликатов работает только для файлов.
Доброго здоровья. Много лет пользуюсь TC, особенно «сравнить по содержимому» и Синхр.каталогов» а про возможностьпоиска по содержимому узнал только что благодаря Вашему очень хорошему разъяснению! Thanks a lot!
Спасибо, Sergey!!!
А как на Oukitel K10 Android 7.1 через TC искать? Статейку можно?
Владимир, увы! Тотал для андроида это не тотал для windows. Нет там таких возможностей.
В качестве жутких костылей могу предложить слить всю память на комп и там уже искать дубликаты привычным тоталом.
Великолепно! Уничтожил несколько тысяч дубликатов фото и видео!
Как сделать поиск копий с двух разных дисков. Изначально предлагает выбрать только один диск.
В поле «Место поиска:» через точку с запятой укажите вручную все остальные места.
с мр3 так тоже можно?
Если вы имеете идентичные файлы mp3 — можно. Но если у вас одинаковая песня, но сжатая разными программами или имеющие разные тэги т.п. — то нет!
Каеф, спасибенто от души, брат! Топовый гайд. Всег благ, чтоб хрен стоял, и деняк многа. Одназначна плюсик в карму.
Гогольмоголь, спасибо!
Гайд был реальным криком души… 🙂
Добрый день. а можно сравнить 2 каталога на предмет поиска таких файлов в первом, которые есть во втором и затем из первого их удалить? если да, то подскажите алгоритм пожалуйста
хотя вопрос снимается, я разобрался 🙂 спасибо, очень помогла Ваша информация
Сергей, добрый вечер!
Очень рад что моя информация помогла вам.
Ваш случай — это поиск дубликатов. Вторая часть статьи.
🙂
Спасибо за помощь в нахождении дубликатов.
Единственный момент — у меня вторая часть с выделением дубликатов не работает.
Не появляется окно «выделение дубликатов» пробовал на версиях 6.55, 10.00, 8.50
Версии не зарегистрированые, 64 бит
ПРи Num+ или из меню появляется маленькое окошко «выделение файлов» — далее можно выбрать, либо «*» , либо по каким то критериям, типа «изображения», «видео»….
там же есть кнопка шаблон, которая сродни окну поиска, но почему-то там нельзя выбрать на вкладке «дополнительно» — поиск дубликатов (НЕ АКТИВНО!)
сорри, все работает — забыл файлы на панель сбросить 🙂
работает и в 8.50 и в 10.00, в 6-55 не работает.
Спасибо огромное автору статьи!
Огромное пожалуйста!