| |
|
|
E.T. | Hat jemand DIE zündende Idee, wie man (viele) Datei'n am besten miteinander vergleichen kann?? Im Moment mache ich das so, das von den Datein Hash-Listen erzeugt werden und diese dann miteinander verglichen werden. Das erstellen der Hash-Liste kann natürlich dauern...
Hatte letztens mit IF schon mal die Diskussion, ob denn binäres vergleichen nicht sinnvoller wäre, nur müssen dann alle Datein x-mal eingelesen werden, was wohl der Geschwindigkeit des Programmes keinen Vorteil bringt.
Die eingelesenen Datein können sowohl aus einem Verz. stammen (Suche in einem Verzeichnis nach doppelten D.) als auch aus 2 Verzeichnissen (1x vorhandene, 1x neue Datein - wo dann die im ersten Verz. vorh. aussortiert werden).
Bei den Datein handelt es sich hauptsächlich um (Baustellen-) Bilder, wo regelmäßig neue Bilder dazu kommen und Doppelungen vermieden werden sollen. Ab und an soll aber auch der "Bestand" nach doppelten Datein durchsucht werden können.
z.Zt. gegebene Datei-Anzahl: .....Bestand: ca. 120.000 Datein .....Neu dazu (um prüfen, ob schon vorhanden): pro Woche ca. 800 datein
Jemand 'ne Idee ?? Freue mich drauf, da das Progg schon steht und auf Verbesserungen wartet ...
Ach ja: Vergleichen nach den ersten Pixeln (und die nächsten, und die nächsten...) wäre auch noch eine Idee, dauert aber auch ewig ... und würde nur für Bilder funzen |
|
|
| Grüße aus Sachsen... Mario WinXP, Win7 (64 Bit),Win8(.1),Win10, Win 11, Profan 6 - X4, XPSE, und 'nen schwarzes, blinkendes Dingens, wo ich das alles reinschütte... | 22.12.2011 ▲ |
|
|
|
|
RGH | Für derartige Aufgaben nutze ich "Beyond Compare" und würde nie auf den Gedanken kommen, da etwas selber zu programmieren. "Beyond Compare" ist äußerst variabel konfigurierbar, ob es nun um die Verwaltung der Änderungen im Quellcode von XProfan geht oder um das Ordnen meiner Fotos, man kommt nach etwas Einarbeitung damit gut zurecht.
Ich fürchte, für großen Datenmengen kann reines XProfan hier bei ungeduldigen Usern zu langsam sein. ;)
Gruß Roland |
|
|
| XProfan X2Intel Duo E8400 3,0 GHz / 4 GB RAM / 1000 GB HDD - ATI Radeon HD 4770 512 MB - Windows 7 Home Premium 32Bit - XProfan X4 | 22.12.2011 ▲ |
|
|
|
|
| XProfans Istgleich ("=") String-Vergleich ist binärsicher:
- das ist quasi sehr cool.
Somit könnte man durchaus den reinen Dateiinhalt direkt vergleichen und dies wäre im Vergleich mit anderen Programmiersprachen ja nicht langsamer.
Der Geschwindigkeitsverlust entstünde beim Einlesen der Datei von einem Datenträger z.B. wenn dieser Datenträger nicht grad eine SSD-Festplatte oder ein RamDrive ist.
Also einfach ne Summe erzeugen... also vlt. einfach so: [...]
Das dürfte dann mit keiner anderen Programmiersprache schneller gehen und auch nicht mit Beyond Compare. |
|
|
| |
|
|