Hifidelio-User.de

Hallo,

in diesem Thread ging es unter anderem um die Frage, wie gut oder schlecht sich mp3-encodierte und damit datenreduzierte Musik wirklich erkennen lassen. Deshalb wurde dort die Idee geboren, einen Blindtest durchzuführen.

Hier ist er nun:
Jeder der daran teilnehmen möchte, soll mir eine PN schicken, damit ich die Links zu den Testfiles und den Referenzdateien von vincent verschicken kann.
Ich möchte die Links lieber nicht öffentlich posten, nicht dass ich noch Probleme mit unserer lieben Musikindustrie bekomme.

Wie läuft's ab?
Ich habe die Referenz-Files von vincent mit verschiedenen Bitraten encodiert und wieder als wav ausgepackt. Es lassen sich keine Rückschlüsse vom Namen/Größe/Timestamp der Datei auf irgendwelche Codierparameter ziehen.

Jeder, der ernsthaft mitmacht, soll am besten wieder per PN (an mich oder Spacesson?) seine Ergebnisse posten. Bitte nicht ins Forum posten, das würde weitere Teilnehmer unzulässigerweise beeinflussen.
Am interessantesten ist die Frage, wie nah der Klang einer Datei an der Referenzdatei ist.
Ich schlage mal folgende Skala vor:

0 = keine Unterschiede erkennbar
1 = sehr kleine Unterschiede erkennbar, überhaupt nicht störend
2 = kleine Unterschiede erkennbar, könnte u.U. störend sein
3 = deutliche Unterschiede
4 = so macht Musikhören keinen Spaß mehr


Short summary in english:
Anybody interested in testing mp3-encoding is invited to take part in a public listening test. Send me a PN, you'll get the links to the test-WAV-files. You can't draw any conclusions of filename, timestamp, size or whatever to the encoding method.

Send me the results of your listening test via PN (please not in forum since this will influence other testers!).
Please tell me how close a file is compared to reference-file.
I suggest the following scale:

0 = no differences found
1 = very small differences, doesn't bother at all
2 = small differences found, might be bothering in some case
3 = explicit differences found
4 = listen to this music is no fun


Have Fun!

Aktueller Zwischenstand:
Bis jetzt habe 15 Leute von mir den Link bekommen, ich bin schon auf erste Ergebnisse gespannt.

Im übrigen möchte ich noch klarstellen, dass ich keine individuellen Ergebnisse mit Namen veröffentlichen werde, es dürfen sich also alle trauen

I will not post any individual results with names, but only anonymous.

Nochmal kleines Update:

Habe bis jetzt 3 Feedbacks bekommen.
Während die ersten 2 so aussahen, dass der Test vielleicht komplett scheitern wird ("Original schon schlecht", "Überhaupt keine Unterschiede erkannt", "alles nur geraten") kam jetzt ein Ergebnis, das eindeutig zeigt, dass man die meisten Bitraten im A/B-Vergleich doch raushören kann, entsprechend gute Ohren, Equipment und etwas Erfahrung und Ruhe vorausgesetzt.

Also nur Mut!

Sehr spannend das ganze ... ! Danke gigi!

War ein paar Tage unterwegs ... mal schauen, was weiter abgeht.

_________________
nope!

Hauptsächlich darum dauert das bei mir so lange: Viele Kinder machen eine rechte Menge Lärm!
Gruss, Bergi

_________________
Was war ST-64

Deshalb ist es wohl sinnvoll, den Test noch bis nach den Feiertagen laufen zu lassen. Also wer noch die Links möchte: Am Sonntag mache ich mal "Anmeldeschluss"!

Werde wohl auch erst am Wochenende die nötige Ruhe für Hörtests finden. Aus welchem klassischen Stück ist eigentlich "sym_reference"? Das gefällt mir gut.

Gruß, schim

wir sind leider auch ein wenig mehr im streß als sonst. ich gebe meine Meinung schnellstens ab.

Wie gesagt, kein Grund zur Eile. Wer mitmachen will, sollte aber bis spätestens Sonntag die Links zu den Testdateien anfordern.

Schim
Its Schubert - Rosamunde, Fürstin von Cypern, incidental music D. 797 (Op. 26) - Immerseel/Anima Eterna
This should be played on my funeral beside the quintet in C of course

Check out : http://www.amazon.com/Schubert-Rosamund ... 27&sr=1-25

Gigi

I will pm my pecking order

_________________
“the Rough Guide to the Hifidelio” has become part of The Well Tempered Computer

Endlich: Das Ergebnis
So, nachdem nun doch ein paar Tage rum sind, habe ich mal die Ergebnisse zusammengetragen. Wer immer noch selbst mitmachen will, muss ja nicht weiterlesen und kann seine Ohren immer noch selbst prüfen, auch wenn das dann kein echter Blindtest mehr ist.

Zunächst:
Ich hatte 25 Nachfragen nach den Referenzfiles, und bis heute 12 Feedbacks. Von den 12 Feedbacks waren 4 Pauschal-Ergebnisse "ich höre keine Unterschiede". Ich nehme an, dass von den fehlenden 13 Rückmeldungen auch noch der eine oder andere dabei ist, der es einfach nicht geschafft hat, die wirklich feinen Unterschiede rauszuhören und sich deshalb erst gar nicht gemeldet hat. Die restlichen 8 detaillierten Ergebnisse sind unten.

Die Test-Files:
Zunächst habe ich die Referenzfiles vorne und hinten minimal gekürzt. Dadurch konnte man nicht ohne Aufwand durch ein einfaches binäres Vergleichen "diff" das Tesfile, das ansonsten 1:1 dem Referenzfile entsprach, finden. Aus diesem minimal geschnittenen neuen Referenzfile habe ich dann mit lame V3.97 mittels lame -V0, lame -V2 und lame -V5
die 3 datenreduzierten Testfiles erstellt.

Die Ergebnisse:



Wo nicht absolut bewertet wurde, habe ich die Zahlen mit R für "Rank" gekennzeichnet.
Bei der Berechnung des Durchschitts habe ich dafür statt R1-R4 einfach mal die Noten 0-3 eingesetzt.


Für mich interpretiere ich das so:

- Die überwiegende Mehrzahl ist bei diesen Bitraten überfordert, wirklich deutliche
Unterschiede rauszuhören.

- Die Feedbacks 2 und 8 kamen mit ausführlichen Erklärungen, was wie rausgehört wurde und mit welchem Equipment gehört wurde. Gleichzeitig treffen diese beiden Testpersonen tatsächlich das eigentlich zu erwartende Ergebnis, nämlich je niedriger die Bitrate, desto schlechter der Klangeindruck, am Besten. Ich persönlich halte diese beiden Ergebnisse aus diesem Grund nicht für Zufall. Ein einstufen der einzelnen Bitraten ist also möglich, gutes Equipment und noch bessere Ohren vorausgesetzt.

- Betrachtet man nur den Durchschnitt der detaillierten Ergebnisse, so kann man erkennen, dass die Bitraten von 120-140kbit/s meist zu einem erkennbaren, wenngleich kaum störbaren Qualitätsverlust führen. (Erinnerung: Mit Note 2 war gemeint: kleine Unterschiede erkennbar, könnte u.U. störend sein).

- Für höhere Bitraten lässt sich dies durch diesen Test nicht belegen, dazu haben entweder zu wenige Testpersonen mitgemacht oder es gibt halt wirklich keine hörbaren Unterschiede.

Ich hoffe, bei der Darstellung der Ergebnisse keinen (Tipp-) Fehler gemacht zu haben. Wenn jemand sein Ergebnis nicht wiederfindet, bitte melden!

Und ich hoffe, dass der Test für den einen oder anderen von Euch hilfreich war, euer Gehör besser einzuschätzen.

Faszinierend...

Bin zwar ein leidenschaftlicher Musikhörer aber auch einer derjenigen, die keine Unterschiede zwischen den Kodierungen heraushören konnten. Insbesondere beim Song der Beatles, dessen Originalaufnahme schon Verzerrungen enthält, frage ich mich, wie man da überhaupt Abweichungen feststellen kann.
Würde mich freuen, wenn die Personen 2 und 8 einer Veröffentlichung ihrer ausführlichen Erklärungen zustimmen würden. Es müssen ja keine Namen genannt werden.

Gruß, schim

Nach Absprache mit gigi hier die Bewertung aus der ursprünglichen email

Ansonsten gilt gigi Dank für die Arbeit die er sich mit dem Erstellen und Auswerten des Tests gemacht hat.

Gruß,
Andreas

so, habe mir das jetzt auch mal angehört.
also ich habe nach ein paar ersten hörproben gleich zum kopfhörer gegriffen, da ich über die lautsprecher mal sowieso keinen unterschied gehört habe. ich kann die songs nur nach einander abspielen, vielleicht wäre eine a-b variante mit lückenlosem umschalten hilfreich.

mein Fazit: selbst mit den Ergebnissen von gigi vor den Augen und dem wissen was besser tönen müsste, kann ich keinen Unterschied feststellen. ich habe mich jetzt nur auf pop_x konzentriert, weil beim sym_x hatten ja schon unsere Experten mühe und das hit_x ist das original schon verzerrt, übersteuert und rauscht.

also ich bin wirklich beeindruckt von aj145 und muss meine tiefe bewunderung aussprechen. vielleicht könntest du uns banausen mal einen tipp geben, auf was man genau achten muss um - als anfang - einen unterschied zwischen dem schlechtesten und dem wav zu hören.

grüsse
stefan

Zunächst auch einmal meinen Dank an gigi und Vincent für dieses Unterfangen. Soetwas müßte es wirklich einmal in großem Maßstab geben. Konnte leider aus Zeitgründen selber nicht daran teilnehmen - denn Zeit und Ruhe braucht man wirklich.
Das Ergebnis finde ich ebenfalls passend und unterstützt meine Erfahrung, dass ab ca. 200 kbit/s keine bis kaum Unterschiede zu hören sind ... zumindestens von den allerwenigsten. Die Erläuterungen von aj145 erinnern mich an diese typischen Weinbeschreibungen ... offenbar gibt es wirklich Supernasen und Goldohren . Aber man bräuchte einfach mehr Fallzahlen, um eine sichere Angabe machen zu können.
Hoffentlich gibt es mal einen Großversuch z.B. von einer unabhängigen Fachzeitschrift (gibt es die ?)

Dirk

_________________
... zur Zeit tatsächlich ohne echte Wünsche ... d.h. wann sollte der ST-64 kommen ?!