Hifidelio-User.de

Das (inoffizielle!) Forum für Hifidelio-User
Aktuelle Zeit: 14.12.2017 15:12

Alle Zeiten sind UTC + 1 Stunde [ Sommerzeit ]




Ein neues Thema erstellen Auf das Thema antworten  [ 22 Beiträge ]  Gehe zu Seite 1, 2  Nächste
Autor Nachricht
 Betreff des Beitrags: Public mp3-Sound-Test
BeitragVerfasst: 14.12.2007 21:41 
Offline
Moderator

Registriert: 27.01.2005 21:11
Beiträge: 2436
Hallo,

in diesem Thread ging es unter anderem um die Frage, wie gut oder schlecht sich mp3-encodierte und damit datenreduzierte Musik wirklich erkennen lassen. Deshalb wurde dort die Idee geboren, einen Blindtest durchzuführen.

Hier ist er nun:
Jeder der daran teilnehmen möchte, soll mir eine PN schicken, damit ich die Links zu den Testfiles und den Referenzdateien von vincent verschicken kann.
Ich möchte die Links lieber nicht öffentlich posten, nicht dass ich noch Probleme mit unserer lieben Musikindustrie bekomme.

Wie läuft's ab?
Ich habe die Referenz-Files von vincent mit verschiedenen Bitraten encodiert und wieder als wav ausgepackt. Es lassen sich keine Rückschlüsse vom Namen/Größe/Timestamp der Datei auf irgendwelche Codierparameter ziehen.

Jeder, der ernsthaft mitmacht, soll am besten wieder per PN (an mich oder Spacesson?) seine Ergebnisse posten. Bitte nicht ins Forum posten, das würde weitere Teilnehmer unzulässigerweise beeinflussen.
Am interessantesten ist die Frage, wie nah der Klang einer Datei an der Referenzdatei ist.
Ich schlage mal folgende Skala vor:

0 = keine Unterschiede erkennbar
1 = sehr kleine Unterschiede erkennbar, überhaupt nicht störend
2 = kleine Unterschiede erkennbar, könnte u.U. störend sein
3 = deutliche Unterschiede
4 = so macht Musikhören keinen Spaß mehr


Short summary in english:
Anybody interested in testing mp3-encoding is invited to take part in a public listening test. Send me a PN, you'll get the links to the test-WAV-files. You can't draw any conclusions of filename, timestamp, size or whatever to the encoding method.

Send me the results of your listening test via PN (please not in forum since this will influence other testers!).
Please tell me how close a file is compared to reference-file.
I suggest the following scale:

0 = no differences found
1 = very small differences, doesn't bother at all
2 = small differences found, might be bothering in some case
3 = explicit differences found
4 = listen to this music is no fun


Have Fun!


Nach oben
 Profil  
 
 Betreff des Beitrags:
BeitragVerfasst: 15.12.2007 18:46 
Offline
Moderator

Registriert: 27.01.2005 21:11
Beiträge: 2436
Aktueller Zwischenstand:
Bis jetzt habe 15 Leute von mir den Link bekommen, ich bin schon auf erste Ergebnisse gespannt.

Im übrigen möchte ich noch klarstellen, dass ich keine individuellen Ergebnisse mit Namen veröffentlichen werde, es dürfen sich also alle trauen ;-)

I will not post any individual results with names, but only anonymous.


Nach oben
 Profil  
 
 Betreff des Beitrags:
BeitragVerfasst: 17.12.2007 10:29 
Offline
Moderator

Registriert: 27.01.2005 21:11
Beiträge: 2436
Nochmal kleines Update:

Habe bis jetzt 3 Feedbacks bekommen.
Während die ersten 2 so aussahen, dass der Test vielleicht komplett scheitern wird ("Original schon schlecht", "Überhaupt keine Unterschiede erkannt", "alles nur geraten") kam jetzt ein Ergebnis, das eindeutig zeigt, dass man die meisten Bitraten im A/B-Vergleich doch raushören kann, entsprechend gute Ohren, Equipment und etwas Erfahrung und Ruhe vorausgesetzt.

Also nur Mut!


Nach oben
 Profil  
 
 Betreff des Beitrags:
BeitragVerfasst: 19.12.2007 00:29 
Offline
Moderator
Benutzeravatar

Registriert: 21.05.2005 14:31
Beiträge: 2388
Wohnort: 52.429105,10.810525
Sehr spannend das ganze ... ! Danke gigi!

War ein paar Tage unterwegs ... mal schauen, was weiter abgeht.

_________________
nope!


Nach oben
 Profil  
 
 Betreff des Beitrags:
BeitragVerfasst: 19.12.2007 00:32 
Offline
Moderator
Benutzeravatar

Registriert: 29.01.2005 00:43
Beiträge: 1750
Wohnort: CH, Bern
gigi hat geschrieben:
.. Ruhe vorausgesetzt.

Hauptsächlich darum dauert das bei mir so lange: Viele Kinder machen eine rechte Menge Lärm!
Gruss, Bergi

_________________
Was war ST-64 :?:


Nach oben
 Profil  
 
 Betreff des Beitrags:
BeitragVerfasst: 19.12.2007 08:33 
Offline
Moderator

Registriert: 27.01.2005 21:11
Beiträge: 2436
Deshalb ist es wohl sinnvoll, den Test noch bis nach den Feiertagen laufen zu lassen. Also wer noch die Links möchte: Am Sonntag mache ich mal "Anmeldeschluss"!


Nach oben
 Profil  
 
 Betreff des Beitrags:
BeitragVerfasst: 19.12.2007 12:17 
Offline
Benutzeravatar

Registriert: 05.06.2006 00:38
Beiträge: 549
Wohnort: Südpfalz, DE
Werde wohl auch erst am Wochenende die nötige Ruhe für Hörtests finden. Aus welchem klassischen Stück ist eigentlich "sym_reference"? Das gefällt mir gut. :)

Gruß, schim


Nach oben
 Profil  
 
 Betreff des Beitrags:
BeitragVerfasst: 19.12.2007 13:33 
Offline
Benutzeravatar

Registriert: 19.01.2005 07:04
Beiträge: 1535
Wohnort: Hamburg
wir sind leider auch ein wenig mehr im streß als sonst. ich gebe meine Meinung schnellstens ab.


Nach oben
 Profil  
 
 Betreff des Beitrags:
BeitragVerfasst: 19.12.2007 13:56 
Offline
Moderator

Registriert: 27.01.2005 21:11
Beiträge: 2436
Ta Lun hat geschrieben:
wir sind leider auch ein wenig mehr im streß als sonst. ich gebe meine Meinung schnellstens ab.

Wie gesagt, kein Grund zur Eile. Wer mitmachen will, sollte aber bis spätestens Sonntag die Links zu den Testdateien anfordern.


Nach oben
 Profil  
 
 Betreff des Beitrags:
BeitragVerfasst: 19.12.2007 22:20 
Offline
Benutzeravatar

Registriert: 22.02.2007 01:03
Beiträge: 441
Schim
Its Schubert - Rosamunde, Fürstin von Cypern, incidental music D. 797 (Op. 26) - Immerseel/Anima Eterna
This should be played on my funeral beside the quintet in C of course

Check out : http://www.amazon.com/Schubert-Rosamund ... 27&sr=1-25

Gigi

I will pm my pecking order

_________________
the Rough Guide to the Hifidelio has become part of The Well Tempered Computer


Nach oben
 Profil  
 
 Betreff des Beitrags:
BeitragVerfasst: 04.01.2008 17:25 
Offline
Moderator

Registriert: 27.01.2005 21:11
Beiträge: 2436
Endlich: Das Ergebnis
So, nachdem nun doch ein paar Tage rum sind, habe ich mal die Ergebnisse zusammengetragen. Wer immer noch selbst mitmachen will, muss ja nicht weiterlesen und kann seine Ohren immer noch selbst prüfen, auch wenn das dann kein echter Blindtest mehr ist.

Zunächst:
Ich hatte 25 Nachfragen nach den Referenzfiles, und bis heute 12 Feedbacks. Von den 12 Feedbacks waren 4 Pauschal-Ergebnisse "ich höre keine Unterschiede". Ich nehme an, dass von den fehlenden 13 Rückmeldungen auch noch der eine oder andere dabei ist, der es einfach nicht geschafft hat, die wirklich feinen Unterschiede rauszuhören und sich deshalb erst gar nicht gemeldet hat. Die restlichen 8 detaillierten Ergebnisse sind unten.

Die Test-Files:
Zunächst habe ich die Referenzfiles vorne und hinten minimal gekürzt. Dadurch konnte man nicht ohne Aufwand durch ein einfaches binäres Vergleichen "diff" das Tesfile, das ansonsten 1:1 dem Referenzfile entsprach, finden. Aus diesem minimal geschnittenen neuen Referenzfile habe ich dann mit lame V3.97 mittels lame -V0, lame -V2 und lame -V5
die 3 datenreduzierten Testfiles erstellt.

Die Ergebnisse:


Code:
Feedback Nr:                           1     2        3       4     5      6     7    8     Durchschnitt
***********************************************************************************************************
hit_c.wav (WAV)                        2     0        R3                   0     2    0          1
hit_y.wav (lame -V0, 235 kbit/s)       3     1        R1                   0     3    1.5        1.4
hit_h.wav (lame -V2, 187 kbit/s)       3     1.75     R2                   0     0    2          1.1
hit_d.wav (lame -V5, 142 kbit/s)       0     1.5      R4                   0     2    4          1.75


pop_o.wav (WAV)                        2     0        R2     R4     4      1     0    0          1.4
pop_d.wav (lame -V0, 221 kbit/s)       0     1.5      R1     R3     1      1     0    1          0.8
pop_j.wav (lame -V2, 174 kbit/s)       0     1        R3     R1     1      0     2    2          1.0
pop_r.wav (lame -V5, 123 kbit/s)       3     1.75     R4     R2            0     1    3          1.8

sym_i.wav (WAV)                        0     0        R1            4      0     0    0          0.6
sym_h.wav (lame -V0, 231 kbit/s)       1     3        R3            1      0     3    1          1.6
sym_k.wav (lame -V2, 193 kbit/s)       0     2        R2            0      0     0    1.5        0.6
sym_g.wav (lame -V5, 121 kbit/s)       3     2.25     R4            2      0     1    2          1.9

Wo nicht absolut bewertet wurde, habe ich die Zahlen mit R für "Rank" gekennzeichnet.
Bei der Berechnung des Durchschitts habe ich dafür statt R1-R4 einfach mal die Noten 0-3 eingesetzt.


Für mich interpretiere ich das so:

- Die überwiegende Mehrzahl ist bei diesen Bitraten überfordert, wirklich deutliche
Unterschiede rauszuhören.

- Die Feedbacks 2 und 8 kamen mit ausführlichen Erklärungen, was wie rausgehört wurde und mit welchem Equipment gehört wurde. Gleichzeitig treffen diese beiden Testpersonen tatsächlich das eigentlich zu erwartende Ergebnis, nämlich je niedriger die Bitrate, desto schlechter der Klangeindruck, am Besten. Ich persönlich halte diese beiden Ergebnisse aus diesem Grund nicht für Zufall. Ein einstufen der einzelnen Bitraten ist also möglich, gutes Equipment und noch bessere Ohren vorausgesetzt.

- Betrachtet man nur den Durchschnitt der detaillierten Ergebnisse, so kann man erkennen, dass die Bitraten von 120-140kbit/s meist zu einem erkennbaren, wenngleich kaum störbaren Qualitätsverlust führen. (Erinnerung: Mit Note 2 war gemeint: kleine Unterschiede erkennbar, könnte u.U. störend sein).

- Für höhere Bitraten lässt sich dies durch diesen Test nicht belegen, dazu haben entweder zu wenige Testpersonen mitgemacht oder es gibt halt wirklich keine hörbaren Unterschiede.

Ich hoffe, bei der Darstellung der Ergebnisse keinen (Tipp-) Fehler gemacht zu haben. Wenn jemand sein Ergebnis nicht wiederfindet, bitte melden!

Und ich hoffe, dass der Test für den einen oder anderen von Euch hilfreich war, euer Gehör besser einzuschätzen.


Nach oben
 Profil  
 
 Betreff des Beitrags:
BeitragVerfasst: 04.01.2008 20:21 
Offline
Benutzeravatar

Registriert: 05.06.2006 00:38
Beiträge: 549
Wohnort: Südpfalz, DE
Faszinierend... :o

Bin zwar ein leidenschaftlicher Musikhörer aber auch einer derjenigen, die keine Unterschiede zwischen den Kodierungen heraushören konnten. Insbesondere beim Song der Beatles, dessen Originalaufnahme schon Verzerrungen enthält, frage ich mich, wie man da überhaupt Abweichungen feststellen kann.
Würde mich freuen, wenn die Personen 2 und 8 einer Veröffentlichung ihrer ausführlichen Erklärungen zustimmen würden. Es müssen ja keine Namen genannt werden.

Gruß, schim


Nach oben
 Profil  
 
 Betreff des Beitrags:
BeitragVerfasst: 11.01.2008 00:34 
Offline

Registriert: 19.01.2005 23:28
Beiträge: 84
schim hat geschrieben:
Würde mich freuen, wenn die Personen 2 und 8 einer Veröffentlichung ihrer ausführlichen Erklärungen zustimmen würden.

Nach Absprache mit gigi hier die Bewertung aus der ursprünglichen email
Zitat:
Hit:
hit_c.wav 0
hit_d.wav 4
hit_h.wav 2
hit_y.wav 2(1)
Das Stück ist grundsätzlich schon verrauscht und bereitet einem MP3-Encoder
große Probleme. Die Variante D ist vermutlich mit 128k komprimiert und hat
neben Höhenverlust auch deutliche Artefarkte. Auch H und Y sind komprimiert
und ich würde beide normalerweise gleich bewerten. Im A/B-Vergleich ist Y
aber geringfügig besser, darum die 2(1).

POP:
pop_d.wav 1
pop_j.wav 2
pop_o.wav 0
pop_r.wav 3
Ähnlich oben, ausser dass der (vermutete) 128er hier durchaus OK ist, dafür
sind die Unterschiede zwischen d und j deutlicher.

SYM:
sym_g.wav 2
sym_h.wav 1
sym_i.wav 0
sym_k.wav 1(2)
Das war sehr schwer zu bewerten. G und I liessen sich noch relativ leicht
finden. H und K lassen sich erst am Ende des Stückes unterscheiden. Hier
musste ich die Kopfhörer nehmen.

Testequipment:
Quelle: Hifidelio ;-), Oppo D980
Amp: Denon AVR-4306
LS: Elac 518
Kabel: Hifidelio 08-15 Toslink, Oppo über HDMI
KH: Beyer DT990

Hauptsäch habe ich über LS gehört, die Klassik teilweise über KH. Zwischen dem
HF über Opto und dem Oppo über HDMI war kein Unterschied zu hören ;-)

Ansonsten gilt gigi Dank für die Arbeit die er sich mit dem Erstellen und Auswerten des Tests gemacht hat.

Gruß,
Andreas


Nach oben
 Profil  
 
 Betreff des Beitrags:
BeitragVerfasst: 11.01.2008 21:00 
Offline
Benutzeravatar

Registriert: 06.05.2005 11:47
Beiträge: 91
Wohnort: Zürich
so, habe mir das jetzt auch mal angehört.
also ich habe nach ein paar ersten hörproben gleich zum kopfhörer gegriffen, da ich über die lautsprecher mal sowieso keinen unterschied gehört habe. ich kann die songs nur nach einander abspielen, vielleicht wäre eine a-b variante mit lückenlosem umschalten hilfreich.

mein Fazit: selbst mit den Ergebnissen von gigi vor den Augen und dem wissen was besser tönen müsste, kann ich keinen Unterschied feststellen. ich habe mich jetzt nur auf pop_x konzentriert, weil beim sym_x hatten ja schon unsere Experten mühe und das hit_x ist das original schon verzerrt, übersteuert und rauscht.

also ich bin wirklich beeindruckt von aj145 und muss meine tiefe bewunderung aussprechen. vielleicht könntest du uns banausen mal einen tipp geben, auf was man genau achten muss um - als anfang - einen unterschied zwischen dem schlechtesten und dem wav zu hören.

grüsse
stefan


Nach oben
 Profil  
 
 Betreff des Beitrags:
BeitragVerfasst: 12.01.2008 08:56 
Offline
Moderator
Benutzeravatar

Registriert: 03.04.2005 07:40
Beiträge: 1062
Wohnort: Kasel bei Trier
Zunächst auch einmal meinen Dank an gigi und Vincent für dieses Unterfangen. Soetwas müßte es wirklich einmal in großem Maßstab geben. Konnte leider aus Zeitgründen selber nicht daran teilnehmen - denn Zeit und Ruhe braucht man wirklich.
Das Ergebnis finde ich ebenfalls passend und unterstützt meine Erfahrung, dass ab ca. 200 kbit/s keine bis kaum Unterschiede zu hören sind ... zumindestens von den allerwenigsten. Die Erläuterungen von aj145 erinnern mich an diese typischen Weinbeschreibungen ... offenbar gibt es wirklich Supernasen und Goldohren :-). Aber man bräuchte einfach mehr Fallzahlen, um eine sichere Angabe machen zu können.
Hoffentlich gibt es mal einen Großversuch z.B. von einer unabhängigen Fachzeitschrift (gibt es die ?)

Dirk

_________________
... zur Zeit tatsächlich ohne echte Wünsche ... d.h. wann sollte der ST-64 kommen ?!


Nach oben
 Profil  
 
Beiträge der letzten Zeit anzeigen:  Sortiere nach  
Ein neues Thema erstellen Auf das Thema antworten  [ 22 Beiträge ]  Gehe zu Seite 1, 2  Nächste

Alle Zeiten sind UTC + 1 Stunde [ Sommerzeit ]


Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast


Du darfst keine neuen Themen in diesem Forum erstellen.
Du darfst keine Antworten zu Themen in diesem Forum erstellen.
Du darfst deine Beiträge in diesem Forum nicht ändern.
Du darfst deine Beiträge in diesem Forum nicht löschen.

Suche nach:
Gehe zu:  
Powered by phpBB® Forum Software © phpBB Group
Deutsche Übersetzung durch phpBB.de