Test de compressibilité

Asterix · Invité

Bonjour,

Utilisateur de m4ng depuis fort longtemps (ainsi que de son "prédécesseur"), je n'avais jusqu'à maintenant rencontré aucun problème particulier. pepsi

Or depuis la sortie de la version RC, je me suis décidé à tester cette petite révolution (eu égard à la refonte du code). Première impression, chouette, le test de compressibilité est maintenant accessible pour le ré-encodage ! Deuxième impression, moins chouette, il donne des résultats incompréhensibles. pepsi

En effet, comme vous l'avez sans doute compris, je suis un fervent utilisateur de ce gadget, allant même jusqu'à convertir une vidéo HD en DVD, puis l'encoder en XviD, pour bénéficier du test de compressibilité, non disponible en ré-encodage sur les versions précédentes. pepsi

Pour en revenir à mon problème (dont voici une illustration), j'ai du mal à comprendre comment le "taux de compressibilité" peut atteindre 96.90 alors qu'il est censé être inférieur à 1 et que d'après mes expériences passées, il dépasse très rarement 0.50 dans des conditions normales d'utilisation. pepsi

Alors quelle peut être la cause :

Bug dans ce module lors du passage à la v2 ?
Nouveau mode de fonctionnement/calcul (étrange) ?
Comportement erratique de mon PC ?
Utilisation de K-Lite ? (je sais, c'est mal ... mais très pratique)

Je tiens à préciser qu'à part ça, tout fonctionne correctement (encodage, ré-encodage, demux, ...), que ce problème survient également si j'exécute le test de compressibilité depuis une source DVD (logique somme toute, puisque les 2 modes ont été regroupés) et que jusqu'à la 1.4.0.6 tout fonctionnait à merveille (et je n'ai rien changé depuis si ce n'est désinstallé m4ng v1 et avisynth, effacé le dossier dans Program Files, réinstallé la RC1 (+ avisynth évidemment) et appliqué les mises à jour successives). pepsi

Merci pour votre participation active à ce sujet (du moins je l'espère !), car cela m'embêterait assez de devoir me passer de cette fonctionnalité. pepsi

**pepsilite**

Salut à toi ...
En fait le test de compressibilité n'a JAMAIS été testé dans m4ng v2... J'ai simplement fait en sorte qu'il soit accessible pour tous les encodages mais le calcul est très certainement à revoir en profondeur, ceci expliquant tes résultats "fantaisistes"...
Par contre, pour ce qui est du k-lite, là, tu risques fort d'avoir moults problèmes à cause de lui.
_________________

... Encodeur / Ré-encodeur DivX, Xvid, x264 CLI & VFW, MPEG, PSP, iPod/iPhone, Blu-ray et TS / M2TS
:: 27/12/2009 - m4ng v2 - RC2 est dispo ::

**Underground78**

Je pense qu'il faudrait effectivement revoir le fonctionnement du test de compressibilité (qui n'est de toute façon qu'une indication d'une fiabilité relative).

Actuellement le calcul est fait comment ?
_________________

Radio Fr Solo : la radio sur votre ordinateur

Dernière version de l'encodeur x264 compatible avec m4ng : x264 : CLI, VFW et profils d'encodage compatibles avec m4ng

**pepsilite**

il faut que je regarde ...
_________________

... Encodeur / Ré-encodeur DivX, Xvid, x264 CLI & VFW, MPEG, PSP, iPod/iPhone, Blu-ray et TS / M2TS
:: 27/12/2009 - m4ng v2 - RC2 est dispo ::

Asterix · Invité

D'accord, donc le problème peut très bien venir d'un bug apparu lors du passage à la v2, ça me rassure d'une certaine manière. pepsi

En tous les cas, j'espère que vous trouverez le problème et pourrez le corriger, car pour l'instant je me vois dans "l'obligation" de retourner à la 1.4.0, mais sa date de péremption approchant, il faudra bien que je passe à la v2 un jour ou l'autre. pepsi

Sinon, quand vous dites "pour ce qui est du k-lite, là, tu risques fort d'avoir moults problèmes à cause de lui.", ça veut dire plus qu'avec la 1.4.0, ou autant ? Parce que jusqu'à maintenant, j'ai identifié 2-3 petits soucis que je soupçonne venir de là, mais j'ai pour l'instant toujours trouvé une solution accommodante, donc je m'en satisfait. pepsi

En tout cas merci pour vos réponses !

**KadicK** · Ghost member Inscrit le: 03 Fév 2007 Messages: 4930

Il semblerait qu'après moultes années de recherches intensives nous ayons enfin trouvé L'utilisateur du test de compressibilité

Plus sérieusement, il te sert vraiment au point de ne pouvoir t'en passer ? D'autant plus que comme le souligne Pepsi, la formule utilisée est très certainement à la ramasse
_________________
Infos utiles
Corriger un décalage son - Format avi
FAQ

Asterix · Invité

Et bien, oui, le test de compressibilité est pour moi quelque chose (sans aller jusqu'à dire indispensable) de primordial, car contrairement à la plupart des gens, je ne me limite pas à des fichiers de 700, 1400 et 4450Mo (je comprend que dans ce cas là, ça soit beaucoup moins utile). pepsi

J'encode également intensivement en 950, 825Mo voire nettement plus petit (100-200 Mo), et le test de compressibilité me permet de choisir au mieux la taille du fichier : si je prévois d'encoder en 950Mo (par rapport à la durée de la vidéo, de façon à avoir un débit correct) et que le test de compressibilité m'indique que ma vidéo est bien compressible (coefficient >0.30), je peux alors opter pour un fichier de 825Mo, quitte à diminuer un peu la résolution pour que le coefficient reste suffisant. Et la réciproque marche aussi avec les vidéo peu compressibles. pepsi

En ce qui concerne l'exactitude de la formule de calcul, la seule incohérence que j'ai notée au cours de mes années de pratique de ce test, c'est que le résultat varie suivant les paramètres choisis pour l'encodage (taille du fichier par exemple) : si je fais le test sur une même vidéo pour un fichier de 700Mo, je peux obtenir 0.5 alors que j'obtiendrai 0.3 pour un fichier de 1400Mo. Or ce test servant d'étalon, il devrait normalement donner le même résultat, à quelques millièmes près, quels que soient les paramètres choisis (hormis le codec bien sûr, voire le pourcentage de vidéo servant de "zone test"). pepsi

Mais pour ne pas être ennuyé par ce problème, je refait un test de compressibilité à chaque fois que je change un paramètre. pepsi

**KadicK** · Ghost member Inscrit le: 03 Fév 2007 Messages: 4930

Tu te prends bien la tête pour pas grand chose ^^
_________________
Infos utiles
Corriger un décalage son - Format avi
FAQ

**pepsilite**

un peu ouais, de nos jours, les codecs sont si puissants qu'ils s'en sortent quasiment dans toutes les situations sans rien avoir à faire au niveau de leur paramétrage.
_________________

... Encodeur / Ré-encodeur DivX, Xvid, x264 CLI & VFW, MPEG, PSP, iPod/iPhone, Blu-ray et TS / M2TS
:: 27/12/2009 - m4ng v2 - RC2 est dispo ::

Asterix · Inscrit le: 19 Fév 2010 Messages: 4

Bonsoir,

Je voudrais revenir sur ce sujet car j'ai trouvé un autre utilitaire qui fait plus ou moins les mêmes choses que m4ng (en moins bien, évidemment pepsi

) et qui inclut un test de compressibilité ! pepsi

Comme quoi je ne suis pas peut-être pas le seul que ça intéresse pepsi

Donc actuellement, ce que je fait c'est que je passe d'abord ma video dans cet utilitaire pour récupérer la valeur du coefficient de compressibilité, puis je repasse dans m4ng en essayant de m'ajuster au mieux autour de 50-60% de cette valeur. Mais en tous les cas, cette méthode m'a permis de confirmer que ce coefficient a bien une réelle importance, car il m'arrive régulièrement d'avoir des vidéos avec un coefficient de ~0.45 et d'autres avec un coefficient de ~0.25, donc quasiment du simple au double.

Alors je ne sais pas de quelle manière m4ng procède pour effectuer ce test, mais concernant mon utilitaire alternatif, j'ai fait quelques recherches, et il s'avère qu'il utilise la méthode originelle mise au point chez Doom9 par l'équipe de Gordian Knot.
Il commence par isoler "x" séquences de 14 frames toutes les "y" frames , avec y=14/z% (z% étant le pourcentage de test souhaité, donc toutes les 280 frames pour 5% par exemple). Ensuite, il encode cette séquence avec le codec souhaité configuré avec un quantizer=2, ce qui correspond à la qualité maximale accessible avec ce codec. Enfin, il n'y a plus qu'à regarder quel est le coefficient de compressibilité de la séquence encodée et ce sera notre 100% de qualité.

Avec cette méthode, le test est donc bien indépendant du bitrate choisi (puisque quantizer=2 pour le test) et le choix de la résolution ou du pourcentage n'a qu'une influence minime (1 à 2 centièmes la plupart du temps). A priori, cette méthode a l'air plutôt simple car c'est quelque chose qu'on pourrait presque faire à la main (sauf l'isolement de la séquence des x*14 frames peut-être), mais bon je dis "a priori" car pour avoir été codeur moi-même il y a quelques années, je sais que ce sont souvent les choses qui paraissent les plus simples qui sont les plus compliquées à coder. Mais en tous les cas, c'est faisable car mon soft alternatif, dont je tairai le nom pour ne pas faire de (bonne ou mauvaise) publicité, le fait (mais sans vouloir être méchant, il n'y a presque que ça qu'il fait bien pepsi

).

En vous remerciant de m'avoir lu, en espérant ne pas avoir été trop obscur dans mes explications et en priant pour que vous exhaussiez mon vœu le plus cher pepsi

**pepsilite**

Merci pour le tuyau ...
Le test de compressibilité dans m4ng est obsolète et doit faire l'objet d'une refonte, il est "normal" que les résultats sont faux, je dois m'y atteler quand j'en aurai le courage... (ce soir peut-être)
Perso je n'approuve pas ce test, 5% d'un film n'est pas le film entier, bien loin de là, le résultat même avec le "bon calcul" ne sera qu'une approximation très... approximative, le meilleur test de compressibilité pour un film est d'encoder le film entier, là ouais, on sera sûr du résultat.
_________________

... Encodeur / Ré-encodeur DivX, Xvid, x264 CLI & VFW, MPEG, PSP, iPod/iPhone, Blu-ray et TS / M2TS
:: 27/12/2009 - m4ng v2 - RC2 est dispo ::

**Underground78**

Bon c'est vrai que le test de compressibilité c'est assez dépassé mais bon s'il faut le conserver dans m4ng je serais d'avis d'utiliser la technique décrite plus haut effectivement. Peut-être avec des séquences plus longues, faudrait y réfléchir ... Si Q2 c'est pour Divx/Xvid, pour le x264 ça serait plutôt entre 18 et 20, à voir aussi.

A priori c'est pas dur du tout à faire, Pepsi nous fait ça en pas longtemps je pense.

_________________

Radio Fr Solo : la radio sur votre ordinateur

Dernière version de l'encodeur x264 compatible avec m4ng : x264 : CLI, VFW et profils d'encodage compatibles avec m4ng

**pepsilite**

ah? je sais le faire tout seul? merdoum, moi qui comptais te demander de m'aider pepsi

_________________

... Encodeur / Ré-encodeur DivX, Xvid, x264 CLI & VFW, MPEG, PSP, iPod/iPhone, Blu-ray et TS / M2TS
:: 27/12/2009 - m4ng v2 - RC2 est dispo ::

**Underground78**

**pepsilite**

ben il faut que je regarde mon code de la compressibilité qui doit dater de "l'ancètre"... et je ne sais plus du tout comment ça marche ce système...
_________________

... Encodeur / Ré-encodeur DivX, Xvid, x264 CLI & VFW, MPEG, PSP, iPod/iPhone, Blu-ray et TS / M2TS
:: 27/12/2009 - m4ng v2 - RC2 est dispo ::

**Underground78**

Oui, il y a probablement pas mal de chose à changer mais je pense que ça devrait plutôt être dans le sens de la simplification.

Je pense que la partie sélection des portions est déjà là (via AviSynth). Après ça sera plus le x264 qui va un peu poser problème puisqu'il faudrait utiliser les même paramètres de ligne de commande en la modifiant un peu.
_________________

Radio Fr Solo : la radio sur votre ordinateur

Dernière version de l'encodeur x264 compatible avec m4ng : x264 : CLI, VFW et profils d'encodage compatibles avec m4ng

**pepsilite** · :: 27/12/2009 - m4ng v2 - RC2 est dispo ::

**pepsilite**

je viens de regarder le code de m4ng, c'est bien un SelectRangeEvery d'AVisynth qui est utilisé, la formule est de prendre 14 images tous les 1400/pourcentage du test...
En fait c'est le script "normal" du réencodage auquel j'ajoute simplement la ligne du SelectRangeEvery...
en clair :
SelectRangeEvery (video, 1400/pourcentage, 14)
soit
SelectRangeEvery (video, 280, 14) pour 5%, DONC le calcul est (déjà) bon

Mais à mon avis c'est plutôt dans l'analyse du résultat que ça coince...

[EDIT] Peut-être un bug, il semblerait qu'en fait je ne passe pas le bon pourcentage à la commande SelectRangeEvery, ce qui expliquerait que ça merdouille, il faut que je teste ça de plus près.
_________________

... Encodeur / Ré-encodeur DivX, Xvid, x264 CLI & VFW, MPEG, PSP, iPod/iPhone, Blu-ray et TS / M2TS
:: 27/12/2009 - m4ng v2 - RC2 est dispo ::

**Underground78**

C'est bien du Q2 ?

Après je sais pas si le 14 images tous les 1400/pourcentage images est choisi pour une raison spéciale parce que bon 14 images c'est quand même très peu ...
_________________

Radio Fr Solo : la radio sur votre ordinateur

Dernière version de l'encodeur x264 compatible avec m4ng : x264 : CLI, VFW et profils d'encodage compatibles avec m4ng

**pepsilite** · :: 27/12/2009 - m4ng v2 - RC2 est dispo ::

**Underground78**

Faudrait mieux un quantizer d'après moi. Sinon si les grands gourous ont dit ...
_________________

Radio Fr Solo : la radio sur votre ordinateur

Dernière version de l'encodeur x264 compatible avec m4ng : x264 : CLI, VFW et profils d'encodage compatibles avec m4ng

**pepsilite**

euh ouais, ptête mais m4ng n'est pas prévu pour "passer un quantizer" mais un "débit vidéo"...
_________________

... Encodeur / Ré-encodeur DivX, Xvid, x264 CLI & VFW, MPEG, PSP, iPod/iPhone, Blu-ray et TS / M2TS
:: 27/12/2009 - m4ng v2 - RC2 est dispo ::

**lauden** · Administrateur Inscrit le: 12 Nov 2006 Messages: 6723

Copie d'un message (datant de 2003) sur le test de compressibilité

**Underground78**

**pepsilite**

aucune idée... Pour l'instant, je regarde ce qui se passe dans le code.
_________________

... Encodeur / Ré-encodeur DivX, Xvid, x264 CLI & VFW, MPEG, PSP, iPod/iPhone, Blu-ray et TS / M2TS
:: 27/12/2009 - m4ng v2 - RC2 est dispo ::

**pepsilite**

tin ça fait 1/2h que je cherchais pourquoi rien ne fonctionnait, et j'avais bridé l'analyse de la durée de la vidéo, forcément ça marchait moins bien pepsi

kelkon ce pepsi...
_________________

... Encodeur / Ré-encodeur DivX, Xvid, x264 CLI & VFW, MPEG, PSP, iPod/iPhone, Blu-ray et TS / M2TS
:: 27/12/2009 - m4ng v2 - RC2 est dispo ::

**pepsilite**

bon, je ne capte rien aux résulats, matou, j'ai besoin de toi, que dois-je faire une fois la vidéo "quantizée" créée et que j'ai récupéré sa taille? je ne comprends plus rien aux formules vieilles de 6 ans pepsi

instaurées dans ripp-it et m4ng par la suite.

@Laulau, surement très bien ton pavé, mais pas très concis pour mon modeste cerveau pas matheux pour un sou pepsi

voilà ce que m4ng fait :

1. ratio = 100/pourcentage du test
2. testsize = taille_vidéo_réencodée_pour_test*ratio (pour passer la taille "portion" en taille "entière")
3. encodesize = taille_vidéo_demandée_suivant_débit
4. indice=calcul de l'indice de qualité : (débit/fps)/(resx*resy)
5. résultat du test = testsize/encodesize
6. taux de compression = indice / résultat du test.

Les chiffres obtenus ne ressemblent à rien de cohérent pour 5 et 6..
_________________

... Encodeur / Ré-encodeur DivX, Xvid, x264 CLI & VFW, MPEG, PSP, iPod/iPhone, Blu-ray et TS / M2TS
:: 27/12/2009 - m4ng v2 - RC2 est dispo ::

**Underground78**

Perso j'aurais fais le calcul avec les débits mais en utilisant ta méthode je vois un truc bizarre :
1. ratio = 100/pourcentage du test --> ratio = pourcentage du test non ? parce que si tu testes sur 5% des frames c'est aussi 5% de la durée ...

Après le reste semble logique, sauf p-e la 6 que je comprends pas trop faudrait que je réfléchisse à ce que ça représente ...
_________________

Radio Fr Solo : la radio sur votre ordinateur

Dernière version de l'encodeur x264 compatible avec m4ng : x264 : CLI, VFW et profils d'encodage compatibles avec m4ng

**pepsilite** · :: 27/12/2009 - m4ng v2 - RC2 est dispo ::

**Underground78**

Ah oui c'est moi qui déconne mais le plus simple ça serait prendre les débits. Par contre moi j'aurais fait debitchoisi / debitobtenu mais toi avec la taille tu as l'inverse.

Je ne vois pas trop le problème avec les quantizer ? Tu codes en dur un Q2 pour Divx/Xvid, Q?? pour le x264, etc, etc ...
_________________

Radio Fr Solo : la radio sur votre ordinateur

Dernière version de l'encodeur x264 compatible avec m4ng : x264 : CLI, VFW et profils d'encodage compatibles avec m4ng