it-swarm-tr.com

Çift dosyaları bulma (ve silme)

Büyük bir müzik koleksiyonum var ve orada bazı kopyalar var. Çift dosyaları bulmak için herhangi bir yolu var mı. En azından bir karma yaparak ve iki dosyanın aynı karmaya sahip olup olmadığına bakarak.

Uzantı dışında aynı adı taşıyan dosyaları bulmak için bonus puanları - Sanırım hem mp3 hem de ogg formatı sürümleri olan bazı şarkılarım var.

En kolay yol buysa komut satırını kullanmaktan mutluyum.

125
Hamish Downer

Bunun için fdupes kullanıyorum. Sudo apt install fdupes ile depolardan kurulabilen bir komut satırı programıdır. Bunu fdupes -r /dir/ect/ory gibi çağırabilir ve bir çift listesi yazdırır. fdupes'in ayrıca bazı --- daha fazla program listeleyen bir basit Anasayfa ve bir Wikipedia makalesi vardır.

138
qbi

FSlint bir GUI'ye ve bazı diğer özelliklere sahiptir. Çift kontrol algoritmasının SSS bölümünden açıklaması:

1. exclude files with unique lengths
2. handle files that are hardlinked to each other
3. exclude files with unique md5(first_4k(file))
4. exclude files with unique md5(whole file)
5. exclude files with unique sha1(whole file) (in case of md5 collisions).

fslintInstall fslint

61
Dominik

Kopyaları bulabilen ve nix altında çalışan programs/scripts/bash-solutions listesi: _:

  1. dupedit: Sağlama toplamı olmadan birçok dosyayı bir kerede karşılaştırır. Birden fazla yol aynı dosyayı gösterdiğinde dosyaları kendileri ile karşılaştırmaktan kaçınır.
  2. dupmerge: çeşitli platformlarda çalışır (Win32/64, Cygwin, * nix, Linux vb.)
  3. dupseek: Okumaları azaltmak için optimize edilmiş algoritma ile perl.
  4. fdf: Perl/c çoğu platformda çalışır ve çalışır (Win32, * nix ve muhtemelen diğerleri). MD5, SHA1 ve diğer sağlama toplamı algoritmalarını kullanır
  5. freedups: Belirlediğiniz dizinde arama yapan kabuk komut dosyası. Aynı iki dosyayı bulduğunda, bunları birbirine bağlar. Şimdi iki veya daha fazla dosya kendi dizinlerinde hala var, ancak verilerin yalnızca bir kopyası diskte saklanıyor; her iki dizin girişi de aynı veri bloklarına işaret eder.
  6. fslint: komut satırı arayüzü ve GUI'ye sahiptir.
  7. liten: Saf Python tekilleştirme komut satırı aracı ve kitaplık, md5 sağlama toplamı ve yeni bir bayt kullanarak Karşılaştırma algoritması. (Linux, Mac OS X, * nix, Windows)
  8. liten2: Orijinal Liten’in yeniden yazılması, yine de bir komut satırı aracı, ancak SHA-1 sağlama toplamı kullanan daha hızlı bir etkileşimli mod (Linux, Mac OS X, * nix)
  9. rdfind: Giriş parametrelerinin (taranacak dizinler) sırasını temel alarak yinelenen az sayıdakilerden biri "Orijinal/iyi bilinen" kaynaklardan silin (eğer birden fazla klasör verilirse). MD5 veya SHA1 kullanır.
  10. rmlint: Komut satırı arayüzüne ve diğer tüyleri bulmak için birçok seçeneğe sahip Hızlı Bulucu (MD5 kullanır)
  11. a: Bul (ve benzeri) ile çalışmak üzere tasarlanmış Unix/Linux komut satırı aracı.
  12. findrepe: yinelenen dosyaların etkili bir şekilde aranması için tasarlanmış ücretsiz Java tabanlı komut satırı aracı, fermuarlar içinde ve kavanozlar. (GNU/Linux, Mac OS X, * nix, Windows)
  13. fdupe: Perl ile yazılmış küçük bir komut dosyası. İşini hızlı ve verimli bir şekilde yapmak . 1
  14. ssdeep: Bağlam Tetiklemeli Parçalı Bölmeyi Kullanarak neredeyse aynı dosyaları tanımlayın
55
v2r

Veri tekilleştirme göreviniz müzikle ilgiliyse, önce müziğinizi doğru şekilde tanımlayıp etiketlemek için picard uygulamasını çalıştırın (böylece adları yanlış olsa bile yinelenen .mp3/.ogg dosyalarını bulursunuz). Picard'ın bir Ubuntu paketi olarak da mevcut olduğunu unutmayın.

Bu, musicip_puid etiketine dayanarak yapılan tüm şarkıları kolayca bulabilirsin.

6

Bu işi yapan başka bir komut dosyası rmdupe . Yazarın sayfasından:

rmdupe, dosya adından veya uzantısından bağımsız olarak, yinelenen dosyalar için belirtilen klasörlerde arama yapmak için standart linux komutlarını kullanır. Çift adaylar kaldırılmadan önce bayt baytla karşılaştırılır. rmdupe ayrıca kopyaları bir veya daha fazla başvuru klasörüne karşı kontrol edebilir, kaldırmak yerine dosyalara çöp atabilir, özel bir kaldırma komutuna izin verebilir ve aramasını belirtilen boyuttaki dosyalara sınırlayabilir. rmdupe, belirli bir komut için gerçekte herhangi bir dosyayı silmeden ne yapılacağını bildiren bir simülasyon modu içerir.

4
girardengo

Denedin mi

finddup

veya

finddup -l

Sanırım iyi çalışıyor.

3
xerostomus

Müzik ile ilgili yinelenen tanımlama ve silme Picard ve Jaikoz tarafından http://musicbrainz.org/ en iyi çözümdür. Jaikoz Ben müzik şarkısını verilere göre otomatik olarak etiketler inanıyorum. Şarkıyı tanımlaması ve tüm meta verilerini ona vermesi için şarkının adına bile ihtiyacınız yok. Her ne kadar ücretsiz sürüm bir koşuda yalnızca sınırlı sayıda şarkıyı etiketleyebilse de, istediğiniz kadar çalıştırabilirsiniz.

2
Yathi

komparator - Sudo apt-get install komparator ( buntu 10.04 + ) - manuel modda kopya bulmak için GUI aracı olarak kullanıyorum.

2
N0rbert