web analytics

Allons-nous bientôt pouvoir compresser nos RAW ?

30
BILLET PREC.
BILLET SUIV.

Un de nos lecteurs nous a signalé cette info intéressante chez Lens.fr : Dotphoton : la compression RAW jusqu’à 80% sans perte de qualité

– AVERTISSEMENT AVANT D’ALLER PLUS LOIN : CERTAINS DE NOS LECTEURS PENSENT QUE L’ANNONCE DE CE LOGICIEL EST UNE « ARNAQUE » : LE BUT (SELON CES LECTEURS) ETANT DE RECUPERER VOTRE ADRESSE EMAIL (OU MÊME VOTRE N° DE CB). JE NE PRENDRAIS PAS POSITION N’AYANT PAS LE TEMPS DE MENER L’ENQUETE… TOUTEFOIS JE VOUS ENGAGE A BIEN LIRE LES COMMENTAIRES, AVANT DE VOUS INSCRIRE –

Ce serait pas mal, si ça fonctionnait bien et vraiment sans perte, comme c’est annoncé… « Dotphoton est un logiciel pour Mac qui permet de compresser vos fichiers Raw avec un gain allant jusqu’à 80%, sans perte de qualité. De quoi économiser de la place sur vos disques durs et faciliter l’envoi par internet. » Et j’ajouterais : de quoi gagner beaucoup de temps, lors de vos sauvegardes…

 

Le sujet est sensible, car à la longue le RAW : ça pèse lourd… Je rappel d’ailleurs à quel point le nouveau format C-Raw de Canon permet d’économiser de la place (sans perte de qualité). Les fichiers C-RAW de Canon de 30 Mpixels sont jusqu’à 40% plus légers que les fichiers de 24 Mpixels des autres marques, à qualité égale.

On peut télécharger quelques images originales ainsi que leur version compressée en .dng : de quoi comparer la qualité dans Lightroom… Sur cette image à 640 ISO qui n’est pas hyper piquée à la base, on peut constater que le résultat est très acceptable. Il faut monter à 100% ou 200% pour percevoir une légère différence dans le bruit. Jugez par vous même : à gauche l’image originale de 34.7 Mo… A droite le .DNG compressé ne pèse que 9.4 Mo : remarquable ! Le DNG va enfin servir à quelque chose…

 

Pour télécharger les fichiers d’exemple : par ici chez Photdoton.

 

 

– AVERTISSEMENT AVANT D’ALLER PLUS LOIN : CERTAINS DE NOS LECTEURS PENSENT QUE L’ANNONCE DE CE LOGICIEL EST UNE « ARNAQUE » : LE BUT (SELON CES LECTEURS) ETANT DE RECUPERER VOTRE ADRESSE EMAIL (OU MÊME VOTRE N° DE CB). JE NE PRENDRAIS PAS POSITION N’AYANT PAS LE TEMPS DE MENER L’ENQUETE… TOUTEFOIS JE VOUS ENGAGE A BIEN LIRE LES COMMENTAIRES, AVANT DE VOUS INSCRIRE –

 

 

BILLET PREC.
BILLET SUIV.

30 commentaires

      • Alors je suis en train de lire la note technique sur leur site, et je suis extrêmement dubitatif quant au « sans pertes ». Soit c’est bullshit, et c’est du « avec pertes, mais pertes très faibles donc ça va », soit ils pourraient bien plus que révolutionner le stockage de RAW.

        (Pour la faire courte, si je me base sur leur 1., ils ont inventé un débruiteur magique qui renvoie DXO Prime et consorts au rang de jouets préhistoriques. https://dotphotonraw.com/technology)

        Bref… globalement ils promettent quelque chose d’extrêmement révolutionnaire en traitement du signal (séparer le signal du bruit, « magiquement »), alors je pense qu’il faut rester prudent, et comparer de manière rationnelle avant de clamer le « sans pertes ».

        Par contre, ça peut très bien être une compression avec pertes qui soit très efficiente, et donc avec des pertes assez basses. (Auquel cas ça ne me choquerait pas tant que ça.)

        Ils annoncent quand même 2x plus d’efficacité que le .CR3 (40% vs 80%), alors que Canon ne sont pas les premiers-venus en matière de compression d’image.

        • Ils ne disent pas que c’est sans perte. Ils disent qu’ils sans perte d’information utile.
          Tous les algorithmes de compression avec perte simplifient l’image en considérant que la différence de couleur faible entre des pixels adjacents est erratique et que l’on peut les représenter par la même couleur (en fait quelque part que la différence est du bruit).
          La qualité de leur compression dépendra de la pertinence de cette séparation/simplification.
          En gros la compression avec perte de Nikon, c’est 45% en moyenne avec un algorithme pas très agressif et la contrainte de le faire à la volée avec un processeur d’appareil photo. Clairement on doit pouvoir faire mieux avec un ordinateur, mais 80% non visible même après avoir été obligé de pousser les curseurs…

  1. « Les fichiers C-RAW de Canon de 30 Mpixels sont jusqu’à 40% plus légers que les fichiers de 24 Mpixels des autres marques, à qualité égale. »
    Ce n’est pas que chez Canon… Chez Nikon, il est possible de comprimer les NEF sans perte ou avec perte et de choisir entre 12 ou 14 bits.
    Il n’y a pas de miracle (sauf peut-être chez Canon), Il n’est pratiquement pas possible de comprimer plus sans perte que les algorithmes actuels (selon les fichiers , on peut gagner marginalement avec tel ou tel algorithme avec des temps de compression plus long)
    Dans le cas de Photdoton, il s’agit de compression avec perte (on peut choisir le niveau de qualité), leur algorithme est peut-être plus intelligent… à voir.

    L’expérience avec les fichiers Nikon (désolé, je n’ai pas de Canon à moins que l’on m’en offre un):
    * Compression sans perte: même algorithme que les zip, gain 25-40% selon les images.
    * 14 bits versus 12 bits: 14 bits ne sert à rien au-dessus de 400 iso (la dynamique ne dépasse plus 12 bits), et ne change pas réellement visuellement à 64 iso, gain 15%.
    * Compression avec perte: on peut voir une petite différence dans les hautes lumières cramées et dans les ombres sous-exposées (4/5 dia) donc des conditions marginales sur des photos en principe ratées. Ce qui est logique, les compressions avec pertes font de la postérisation, gain 35-55%.
    Options d’enregistrement (Nikon D850): https://onlinemanual.nikonimglib.com/d850/fr/07_recording_options_02.html#nef_raw_compression
    (Sony utilise aussi de la compression, je ne connais pas les détails).

    On peut supposer que Photdoton a un meilleur algorithme de compression avec perte. Leurs comparaisons sur le site n’ont pas grand sens. Si on voyait quelque chose sur une photo bien exposée, cela montrerait que c’est une daube absolue.

  2. Ca ressemble surtout bien à un piège à gogo.
    Ca sort de nulle part et c’est déjà un moyen de récupérer une liste d’email voire 49$/an pour du vaporware…

    Allons…

  3. JF : tu peux télécharger ici les fruits de mes toutes nouvelles découvertes scientifiques en terme de compression de fichier RAW. Le zip contient deux DNG. Un original et un compressé avec mon tout nouvel algorithme, le « Racrapoteur de Tristes Photons », qui réduit les fichiers jusqu’à 80 % quasiment sans perte (en l’occurrence 70%).
    Je vais créé un site.. je vais appelé ça le Racrapoteur de Tritophoton…

    https://sta.sh/01eykq4ekemy

    Tu t’associes ? On peut se faire plein de tunes :D

    Allez, bonne journée…

    • C’est une autre façon de le faire.

      DNG converter fait le même travail et c’est ce que j’ai utilisé dans mon exemple.

      A priori, la compression DNG avec perte d’Adobe utilise un algorithme de compression similaire au JPEG (ce qui explique la correspondance de taille avec un JPEG !).
      Une fois le fichier produit, le container DNG permet à Lightroom d’utiliser les mêmes réglages que sur un DNG ou un RAW standard… mais en gros, le fichier image contenu, c’est du JPEG.
      Pour cette compression en DNG avec perte, la méthode d’extraction des données RAW est telle qu’il est difficile de voir une différence entre l’orignal brut et le compressé… sauf quand on commence à manipuler les curseurs, bien sûr, où comme vous le faites remarquer plus haut, des effets secondaires de postérisation et de pertes de transition de couleurs et de tons se font sentir.

      Je peux me tromper bien sûr, mais pour moi, ce logiciel dotphoton est vraisemblablement une arnaque… ;)

      Voilà ce que j’obtiens en analysant les EXIF d’un de leur soit-disant fichier DNG compressé directement téléchargé sur le site Photdoton en lien dans l’article (exiftool via terminal sous Mac) :
      History Action : derived, saved
      History Parameters : converted from image/x-canon-cr2 to image/dng, saved to new location
      History Instance ID : xmp.iid:23d90d5a-28c2-4242-8003-ff0ce6a01b22
      History When : 2019:03:31 04:25:39+03:00
      History Software Agent : Adobe DNG Converter 11.1 (Macintosh)
      History Changed : /

      Et surtout :
      Compression : JPEG

      Il s’agit donc, comme pour DNG Converter en mode avec perte, d’une « bête » compression JPEG.
      D’après les résultats d’exiftool, il semble qu’ils ne se soient même pas foulé à utiliser un convertisseur de leur cru.
      Ils ont oublié de modifier la valeur de la variable « History Software Agent » et n’ont même pas utiliser les profiles dédiés constructeur (juste le banal Adobe Standard) :
      MIME Type : image/x-adobe-dng
      History Software Agent : Adobe DNG Converter 11.1 (Macintosh)

      Profile Name : Adobe Standard
      Profile Copyright : Copyright 2016 Adobe Systems, Inc.

      Si le terminal vous rebute, il suffit d’ouvrir l’image avec l’inspecteur d’Aperçu pour voir le mode de conversion au niveau de l’onglet TIFF.

      Autre point : le simple fait qu’une vieille version de Photoshop (CS6) ou de Lightroom arrivent à ouvrir et traiter le fichier sans broncher rend déjà le procédé plus que suspect…

      • Intéressant !

        Il faudrait juste compléter avec une petite expérience : pour vérifier si l’on peut éditer plus facilement le DNG (réduit avec perte) produit par ce logiciel, qu’on ne le peut avec un DNG avec perte crée par Adobe dans Lightroom…

        Et éventuellement : plus facilement qu’on ne le peut sur un JPEG exporté, pesant à peu près le même poids (tout simplement)

        • Un JPEG est un JPEG et c’est ce que contiennent leurs soit-disant DNG miracle, comme les DNG avec perte issus de DNG converter (ce qui est également probablement le cas de leur fichiers, de toute façon).
          Si on avait fait évoluer la conversion JPEG, je pense que ça se saurait.

          En gros, si je résume, sur leur site, il te font comparer un RAW avec un JPEG avec des explications fumeuses pour te faire gober qu’ils ont découvert un traitement miracle qui sépare le bruit du signal…

          Tout ça n’a aucun sens…

          C’est une arnaque, c’est tout… et ce n’est certainement pas la peine de continuer à perdre son temps avec ça. Franchement.

          • Juste une remarque, il y a un format meilleur que le jpeg qui sera probablement son successeur. Actuellement, il est utilisé par Apple dans les iPhones.
            C’est le HEIF (High Efficiency Image File Format) qui utilise le système de compression avec perte du HEVC ou H265 (format video). Le système de compression du jpeg étant similaire au H264.
            En video, la compression est environ le double pour une qualité identique. En photo, c’est moins clair, car il n’y a pas de très bonnes photos natives à comparer pour le moment.

            • Oui, j’avais vu passé des articles il y a un an ou deux. C’est plutôt un format intéressant. Ca permettrait une sérieuse économie de support en tout cas.
              J’avoue que comme je n’ai pas d’iPhone et que je n’ai que LR6, je n’en ai pas encore vu la couleur (:D) jusqu’ici.

              Je suis un peu à la traine…

          • Voilà ce que ça donne sur un RAW du Canon EOS R converti en .DNG avec perte par Lightroom :

            Pour des « non choix », plutôt que de les jeter… On passe quand même de 31 Mo pour le RAW, à 8 Mo pour les DNG/JPEG…

            Il faut monter à 400% pour détecter les artefacts. Curieusement je n’ai pas vu beaucoup de différence en travaillant sur les ombres et les hautes lumières. C’est peut-être ici que se situe la différence entre le DNG sans perte et un simple JPEG…

          • Lorsque l’on essaye de travailler dessus : il y a bel et bien une différence entre le JPEG exporté de Lightroom (5,7 Mo pour en qualité 80) et le DNG avec perte crée par Lightroom (7,9 Mo, ici on n’a pas le choix du réglage de la qualité) :

            Non seulement on peut contrôler mieux les hautes lumières sur le DNG avec perte (qui dérapent très vite dans le JPEG), mais aussi l’aberration chromatique (c’est foutu dans le JPEG) et la netteté / bruit (c’est vraiment foutu dans le JPEG). Et la Balance des Blancs.

            Donc même si le CODEC de l’allègement est proche / identique à celui du JPEG : le DNG avec perte reste très supérieur à un expert en JPEG (en qualité 80) et conserve beaucoup plus de potentiel d’ajustement…

            Il faudrait faire la même expérience avec ce nouveau logiciel. Le comparer au JPEG et au DNG avec perte.

          • L’autre avantage du .DNG avec perte de LR par rapport à un export en JPEG (dans le but de gagner de l’espace de stockage) : c’est dans le flux de travail…

            On peut copier coller des développement entre un RAW (on conserve bien entendu ses meilleures images en RAW) et un DNG (on aura éventuellement converti les « non choix » en DNG avec perte) : et bien les résultats obtenus sont identiques. Le Flux de travail en lot reste possible.

            Mais si on colle les ajustements depuis un RAW vers des JPEG (issu des RAW) : et bien les résultats sont très différents… Rendant le flux de travail en lot impossible (copier / coller les ajustements).

            • Le DNG avec perte est en effet déjà beaucoup mieux calibré qu’un simple export JPEG en effet, mais ça reste un JPEG.

              Un autre point, l’encapsulage DNG permet l’accès aux parties logiciel de Lightroom qui ne sont pas exploitables avec un simple JPEG. Il faut aussi garder ça en tête : si le résultat semble meilleur, c’est aussi parce que les outils utilisables le sont.

              Pour faire un test en aveugle, est-ce que tu as joué avec les fichiers dont je t’ai mis les liens ? Essaies et dis-moi ? Je ne peux pas t’influencer, je n’ai carrément pas essayé avec ces fichiers ;)..

              • Voilà, j’ai regardé de près, pour me rendre compte : j’ai appliqué le même réglage de développement (avec de l’accentuation comme je le fais sur tous mes fichiers…) aux deux fichiers…

                D’abord : un comparatif de ton DNG original (à gauche) qui pèse 22,4 Mo, face au DNG exporté depuis Lightroom 8.3.1 (à droite), celui-ci pèse 7,8 Mo.

                La qualité du DNG de 7,8 Mo est très bonne je trouve… A peine quelques artefacts…

                On peut alléger pas mal son catalogue avec ce système (sans hésiter pour toutes les images inférieures à 2 étoile, je pense).

              • Ensuite j’ai appliqué toujours le même réglage de développement (avec toujours la même l’accentuation comme je le fais sur tous mes fichiers…) aux deux fichiers suivants…

                A gauche le DNG exporté depuis Lightroom 8.3.1 (qui pèse 7,8 Mo).

                A droite le DNG allégé que tu as envoyé (et qui pèse 6,6 Mo, environ 15% plus léger) : par contre les dégradations sont importantes (on voit les dégras de l’accentuation, identique sur les deux fichier).

              • Dans le doute : voici les deux mêmes, avec le curseur accentuation à zéro…

                Je ne suis pas très convaincu par ta méthode. Beaucoup de dégâts pour ne gagner que 1Mo environ ? La méthode proposé par Lightroom me semble plus efficace et moins destructive non ?

                • Ce n’est pas très étonnant… maintenant je peux te le dire, le fichier DNG compressé que j’ai mis dans ce zip a été obtenu de la manière suivante :
                  Export DNG vers JPEG via Lightroom
                  Export JPEG vers DNG via Lightroom
                  Conversion du DNG obtenu en DNG compressé avec DNG converter. :D

                  Désolé pour le petit piège.
                  Le but ?

                  Comme tu le soulignes fort justement, le résultat que tu obtiens en exportant en DNG compressé depuis Ligroom 8 est très nettement supérieur (et c’est normal)… et largement comparable à ceux présentés sur le site de Dotphoton.

                  Et pour cause, c’est probablement simplement ce qu’ils font.
                  Je voulais juste que tu t’en rendes compte :D. Les DNG compressés par DNG converter sont déjà au même niveau que ce qu’ils proposent.

                  De toute façon, l’affaire est pliée. Je ne vois pas comment un éditeur de logiciel sorti de nulle part pourrait proposer un nouveau soft sans version gratuite d’essai et espérer avoir de vrai clients. Tu as assez essayer de logiciels ces derniers temps pour savoir que ça n’a aucun sens de ne pas proposer de version d’essai dans un contexte aussi tendu et concurrentiel.
                  Sur leur site, c’est saisie du mail et puis hop, direct ils te demandent ton numéro de carte bleue. Aucun moyen de télécharger quoique ce soit sans ça.

                  Et les explications fournies par la (soit-disant ?) co-fondatrice aux curieux de savoir pourquoi il ne proposent pas un achat standard plutôt qu’un abonnement sont aussi fumeuses que celle de leur algorithme de conversion… (ça ressemble aux explications d’Adobe, d’ailleurs, c’est n’importe quoi :D)
                  Adobe au moins on sait pourquoi ils font ça : parce qu’ils le peuvent !

                  Un truc simple pour tester définitivement si c’est une arnaque : toi qui a une notoriété avérée en photo, propose leur de te permettre de télécharger une version d’essai gratuite en échange d’un article de tests et de promo sur ton site. Je te parie tout ce que tu veux que leur réponse (s’ils te répondent) sera encore plus fumeuse que tout le reste ;).

                  • « Les DNG compressés par DNG cCnverter sont déjà au même niveau que ce qu’ils proposent. »

                    Oui ! Absolument et je l’avais remarqué de suite…

                    Et c’est vrai que pourquoi faire cela de façon payante avec ce nouveau logiciel ? Alors que si l’on paye déjà pour Lightroom : ce dernier le fait déjà pour nous (en important et en remplaçant l’ancien fichier dans notre catalogue, ce qui est super rapide et pratique : un seul clic suffit… avec l’option de conserver ou de supprimer le RAW)…

                    Et que même DNG Converter le fait (lui totalement gratuitement)…

                    Maintenant : accordons leur le bénéfice du doute ! Peut-être pourront-ils apporter de nouvelles fonctions pratiques, dans la version finale du soft ?

                    • Pour ma part, je ne leur accorde aucun doute, c’est plus que probablement une arnaque pure et simple.
                      Je suspecte même qu’il s’agit UNIQUEMENT d’un moyen de récupérer des codes de cartes bleues pour de futur vidages de compte ou autre hacks.
                      Essaies de leur proposer ce que je t’ai dit par mail et je pense que tu seras fixé.

  4. A mon avis c’est plus compliqué. JPEG est le format de fichier que l’on connait, mais aussi l’acronyme de Joint Photographic Experts Group nom du comité de standardisation et nom de multiples autres standards du groupe.

    Le DNG est un format tiff qui utilise la compression JPEG sans perte, avec pertes depuis la version 1.4 de juin 2012. Nous sommes à la version 1.5 de mai 2019 qui permet de nouveaux formats « semi-développés » :
    http://wwwimages.adobe.com/www.adobe.com/content/dam/acom/en/products/photoshop/pdfs/dng_spec_1.5.0.0.pdf

    Les formats de compressions sont sommairement expliqués en page 20. C’est des formats tiff selon des normes JPEG. Le format sans perte est un « JPEG sans perte ».

    Pour comprendre ce que c’est il faut comprendre ce qu’est le format JPEG (classique avec pertes) :
    https://www.youtube.com/watch?v=f2odrCGjOFY

    En option la transformation de Fourier « facile » pour les gourmands:
    https://www.youtube.com/watch?v=r18Gi8lSkfM

    Dans le JPEG sans pertes des DNG, on calcule les écarts par rapport à la courbe et on en fait une liste que l’on comprime. L’avantage par rapport à un zip normal, est que on va ouvrir la partie JPEG normale, l’image va venir rapidement et ensuite on va corriger les écarts de manière presque invisible.

    Dans le JPEG avec pertes des DNG, c’est toujours un raw linéaire que l’on ramène sur 8 bits avant de faire la même compression mais en ne gardant que les écarts principaux.
    Mais c’est toujours un raw qui sera comme le signalait Pierre traité comme un raw (sans dégradation) dans Lightroom ou Photoshop.
    Ce format est bien listé comme un format tif :
    http://fileformats.archiveteam.org/wiki/TIFF

    Pour les jpeg classiques, on voit pourquoi cela postérise et cela dégrade de plus en plus les zones modifiées, et ce qu’est la « qualité » (c’est une utilisation de plus ou moins de termes de la série de Fourier).

Leave A Reply


Notifiez-moi des commentaires à venir via émail. Vous pouvez aussi vous abonner sans commenter.