Фотографии - изничтожение дублей

чего с ней делать:
два пути:
А) в окошке "выбор каталогов" добавить интересующий каталог(-и) и нажать "искать файлов"

если в "параметрах" сравнения оставить только "Циклический Контрольный Код" - найдутся только "полностью идентичные файлы"
(скорость - ориентировочно - 1 гиг в минуту)

если есть желание извлечь данные по размеру и палитре изображений и искать "примерно-похожие" (обрезанные/масштабированные/с мелкими надписями) то нужно выставлять все галки - но скорость анализа сильно упадет.

для примера - на моей машине:
1.5 гига "Китайского флота" (5640 изображений) - 63 минуты;
2 гига "Северного флота" от Apple 16 (1500 изображений) - 33 минуты;
300 мег "Американец в Средиземке" (500 файлов) - 7 минут

после завершения анализа - появится списки файлов и катологов - по которым можно лазить и смотреть картинки
+ автоматически произведется группировка по CRC - можно поизучать и поприбивать дубли...

накопленные данные можно сохранить в xml-файл и работть сними позже

Б) загрузить данные из одного или нескольких ранее сохраненных xml-файлов и работать сразу с ними.

касательно групп (не только CRC но и остальных ):
щелкая в окошке группы, на какой либо из элементов списка - будет появлятся список файлов входящих в нее - и сами файлы изображений - с которыми можно работать индивидуально.

любую картинку и селекцию (=список файлов в группе) можно "пришпилить" - чтобы создать подобие точки опоры.

полный список информации о конкретном файле - показывается в сплывающих "баллонах" при наведении курсора на картинку.

при нажатии кнопки "все тесты" - будут просчитаны и показаны список следующих групп:

- по коду CRC
- по имени файла (Name)
- по длине файла (Length)
- по площади изображения (Square)
- по отношению сторон (Ratio)
- по времени модификации файла (Time)
- по коду цвета (color)

по всем по ним можно лазить и смотереть какие файлы они объединяют.

соответсвенно на окнах картинок - показывается цветными кнопками - в группы по каким признакам они входят.

удаление ненужных файлов:
- либо нажатием на кнопку "удалить" в окне картинки;
- либо через окно селекции - выбрать ненужные и нажать "удалить выбранные".

во избежание инцидентов физическое удаление файла с диска не происходит сразу. список "неблагонадежных файлов" накапливается в "расстрельном списке" и потом уже изничтожается..

кроме того селекцию можно производить следующим образом:

кнопки "Width x Height" (= Ширина х Высота), "Length x Square" (= Длина х Площадь), "@длина файлов" и "@площадь картинок" - рисуют картинку распределения по указанным параметрам - на которой можно регуляторами устаноывить интерсующую область - нажать "рассмотреть селекцию" и таким макаром получить список файлов в окошке селекции.

полезно для изничтожения слишком мелких файлов и слишком больших тоже...

кроме того - в окне селекции есть еще пара кнопок:

"исключить выбранные" - физически с диска файлы не удалит, но выкинет из массива данных информацию о них - чтоб не путались под ногами..

"экспортировать список" - список файлов выкинет в окошко лога.

что касается самого смешного - принципа анализа картинок по цвету:

ежели рассматривать цветовой кубик по компонентам красного*синего*зеленого 256*256*256 то будут отрисовыватся от такие галактики:

но для анализа можно обойтись более проствыи конструкциями

соответсвенно самая красивая кнопка на окошке картинки "Цвет" - селектирует наиболее близкие к ней по цветовой гамме

что соответсвенно позоляет довольно неплохо находить близкие серии фоток:

всё. устала алла. хочу жрать и спать...

Serge_Kuzmin> Попробовал под Win 2003 Server.
Serge_Kuzmin> Весьма и весьма недурственно!!!
Дорогой Сергей!
Приглашаю в гости...поубираем дубли.
Чай попьем...или компот из холодильника.

Serge_Kuzmin> Попробовал под Win 2003 Server.

Cергей, привет! Как дела у Вельможко?

Сорри за офф-топ.

Анатолий> Дорогой Сергей!
Анатолий> Приглашаю в гости...поубираем дубли.
Анатолий> Чай попьем...или компот из холодильника.

Здравствуйте!
Ответил на почту.

Сумрак> Cергей, привет! ...
Сумрак> Сорри за офф-топ.

Виктор привет!
Давно не общались!! Дабы не разводить офтоп - отвечу на почту.

Serge_Kuzmin> 1. При установке пробует стянуть MS .Net компоненты автоматом - но стабильно затыкается. После того как это делаешь вручную - всё ОК.
на самом деле - если оставить его минут на 20 - он таки поставится (по крайней мере так было на единственной доступной мне машине-без-уставновленого-.Net, на которой я мог это протестировать).
это особенность именно Виндовского инсталлятора - какие мешки он там ворочал, я так и не постиг. но вообще я надеялся что это были проблемы той-конкретной-машины. ан нет... буду копать...

Serge_Kuzmin> М.б. если эти компоненты не установлены - просто выводить сообщение типа "У вас не установлены...... скачайте тут .... и повторите попытку установки".
это опять же галки внутри настроек инсталлятора.
но все я предпочитаю их там пока оставить -
отнюдь не каждый полезет самостоятельно выкачивать чего-то с микрософтовского сайта...

реально же - .Net-кие программы (если конечно сам .Net стоит) - как таковые инсталлятора не требует - можно .exe-шник скачать в любое место и запускать просто-так.

Serge_Kuzmin> 2. Произвёл анализ своей фотосвалки (включены все флажки). После окончания проверки выдало список дублей с указанием количества дублей и галочкой. При нажатии на галочку открывает и демонстрирует все дубли. Всё отлично, но бяка в том что при убирании галочки - снова открывает все эти дубли.

в окошках типа "Группа чего-то-там", "Файлы", "Директории" галки не несут никакой смысловой нагрузки (пока по крайней мере - попозжей я их возможно как нибудь их использую). их можно щелкать как угодно.

галки задействуются только в окошках "Селекция ..." и "Расстрельный список".

Serge_Kuzmin> Глубже не копал
и на том спасибо

P.S. ссылка на .Net Framevork 3.5:


ссылка на Windows Installer 3.1:



GazeGear 1.0.0.20 exe-шник отдельно (после установки с предыдущих двух ссылок должен по-идее заработать и так):

версия посвежее - 1.0.0.21.
из инсталлятора исключена автоматическая установка фрэймворка. ставить его надо отдельно - скачав по ссылке, что приведена в предыдущем посте

Касательно принципов анализа-по-близости-спектров.

алгоритм сбора спектральной информации имеет две ветви :
"цветная" и "черно-белая".

при "цветном" анализе спектральный кубик ( 256*256*256 оттенков красного*синего*зеленого ) делится на 4*4*4=64 области. нарезка областей довольно грубая - "пики" получаются относительно немногочисленные и четкие.

соответсвенно каждый пиксель изображения попадает в одну из этих областей - и увеличивает ее "относительный вес".

если в область попадает хотя бы какое-то количество пикселей - она маркируется как "попадающая в основной спектр" ("Full"; на приложенной картинке видны синие пометки).

если вес области превышает некоторый порог - она считается "попадающей в главный спектр" ("Main"; зеленые пометки).

для каждой области также считается ее "относительный вес" в сравнении с другими.

сравнение двух картинок может происходить с учетом всех трех показателей: "основного спектра", "главного спектра" и "сумме разностей весов":

но с черно-белыми изображениями такой фокус проходит плохо. типичный вид "цветного" спектра "черно-белой" картинки примерно такой:

соответсвенно в "черно-белой" ветке анализа те же 64 области выкраиваются чуть по другому. пиков получается больше и они более сглажены.

но параметры определяются те же: "основной спектр", "главный спектр" и "разница интенсивностей".

для разных типов изображений (из разных фотоальбомов) параметры сравнения могут сильно отличаться.

Меню: "Задачи" -> "Регуляторы сравнения по цвету" показывает окошко - в котором можно указать какие различия между двумя изображениями делают их "непохожими".

для шести упомянутых выше параметров - можно указать:
1) чиселку максимального различия;
2) галку - следует ли учитывать этот параметр при группировке/кластеризации.

Сравнение может происходить :
- в "жесткой форме" - чтобы "выполнялись все отмеченные условия" (= логическое "И");
- в "мягкой форме" - чтобы "выполнялись хотя бы одно отмеченное условие" (= логическое "ИЛИ").

параметры-из-этого-окошка действуют на "силу" действия кнопки "Цвет" (в окне "Картинка") - при нажатии на которую ищутся все изображения, отличия которых от текущего не превышают уазанных границ. в окошке селекции - наряду с именем файла указываются группки чисел [c:а|б|в] для "отличий по цвету" и [g:г|д|е] отличий "по серости" - на эти числа можно ориентироваться чтобы подогнать значения парметров для получения наилучшего результата.

кроме того эти параметры используется для автоматической кластеризации - в окошке "Каперанг" появилась кнопка ">>Кластеры" - которые производит такое же сравнение, только не для одного "опорного файла", а для всех - сравнивая какжый-с-каждым - и показывает список найденных групп-кластеров.

при большом количестве файлов процесс может быть довольно длительным - при N файлов число проверок = N!/(2*(N-2)!). но дело того стоит...