tech Darks et Offsets: taux de réjection à l'empilement

[Azergoth]

Bonjour à tous

 

J'ai lu qu'une bonne méthode pour empiler les offset et le dakrs était de faire une moyenne avec réjection Winsorised (ou Winsorized).

 

Alors j'ai essayé, tant dans Siril puis Pixinsight. Dans les deux cas, j'obtiens un taux de réjection fort asymétriques

• Quasi rien en "low"
  
• Et beaucoup "trop" en high
  

 

Quelques exemples pour 10 offset à 800 iso, Pentax K3 (capteur Sony 24Mp APS-C, le même que dans les Nikon):

 

Sigma low = 3.0

Sigma high = 3.0

Total : 3687150 1.520% ( 1465 + 3685685 = 0.001% + 1.519%)

 

Sigma low = 2.5

Sigma high = 3.5

Total : 2872515 1.184% ( 3444 + 2869071 = 0.001% + 1.183%)

 

Sigma low = 2.0

Sigma high = 4.0

Total : 2331560 0.961% ( 10170 + 2321390 = 0.004% + 0.957%)

 

Sigma low = 1.0

Sigma high = 5.5

Total : 2777518 1.145% ( 1445706 + 1331812 = 0.596% + 0.549%)

 

 

... et aucune image qui déséquilibre fortement la série.

 

Résultats similaires pour les darks.

 

Que dois-je en conclure? ou faire? Peu/pas de pixels froids? Distribution non-gaussienne?

[litobrit]

Je ne vois rien d'anormal dans ces valeurs. Ton capteur et tes darks sont de qualité.

La rejection n'a d'intérêt qu'assortie à un bougé entre les poses.

[Discret68]

Avec Pixinsight, j'arrive aux mêmes valeurs que toi avec une QHY10 ou avec une G2-8300. Je monte le sigma high jusqu'à 10 pour avoir un taux de réjection le plus bas. Pour le sigma low, je suis entre 1 et 3.

 

Par contre, lorsque je lis sur différents tutos qu'il faut minimiser le taux de réjection, je ne sais pas quelle est la valeur optimale à atteindre.

[Azergoth]

Avec Pixinsight, j'arrive aux mêmes valeurs que toi avec une QHY10 ou avec une G2-8300. Je monte le sigma high jusqu'à 10 pour avoir un taux de réjection le plus bas. Pour le sigma low, je suis entre 1 et 3.

 

Par contre, lorsque je lis sur différents tutos qu'il faut minimiser le taux de réjection, je ne sais pas quelle est la valeur optimale à atteindre.

 

Je pense que pour une CCD, c'est relativement bas.

 

Pour un APN, il faut viser en dessous de 0.5%, environ 🙂

 

 

--> Chose étonnante, quand j'active "clip low range" et que je laisse le curseur sur 0, j'ai un taux de réjection de 90%!! Ca veut dire que j'ai de valeurs négatives dans mon offset?

[Fred_76]

Pour info, à l'attention de ceux qui n'utilisent pas PixInsight ou Siril, le Winsorised Mean correspond peu ou prou au Sigma Clipping d'Iris ou de DSS.

 

Mathématiquement, cela consiste à remplacer les valeurs extrèmes d'un ensemble de données par des valeurs intermédiaires avant de calculer la moyenne arithmétique. Par exemple, si l'on prend l'échantillon suivant :

 

30, 31, 1, 35, 40, 1200, 32, 30, 36, 34

 

On trie l'échantillon du plus petit au plus grand :

 

1, 30, 30, 31, 32, 34, 35, 36, 40, 1200

=> la moyenne est de 146.9

=> la médiane est égale à 33

=> l'écart type est de 370

 

On se rend compte que la moyenne ne veut rien dire car elle est supérieure à quasiment tout l'ensemble des données. D'ailleurs l'écart type de 370 indique bien qu'il y a un problème : plus l'écart type est grand, plus l'amplitude des variations est importante dans l'échantillon.

 

Le sigma clipping ou la moyenne de Winsor consiste à écréter les extrèmes basse et haute par les valeurs des suivantes/précédentes. Dans l'exemple, il y a 10 nombres. Le filtre à 10% (ou 5% selon les sources) va consister à écréter les valeurs extrèmes 1 et 1200. On les remplace par la valeur qui la suit/précède, respectivement 30 et 40. La série devient :

 

30, 30, 30, 31, 32, 34, 35, 36, 40, 40

=> la moyenne passe alors à 33.8

=> la médiane est inchangée

=> l'écart type est de 3.9

 

Si on fait le même exercice avec une réjection à 20%, la série devient :

30, 30, 30, 31, 32, 34, 35, 36, 36, 36

=> la moyenne passe alors à 33

=> l'écart type est de 2.66

 

Bref, cette méthode permet assez rapidement de calculer une "sorte" de valeur médiane et est plus robuste contre les pixels déviants que la simple moyenne arithmétique.

 

Il existe une autre méthode qui donne aussi des bons résultats, c'est la moyenne après rejet des extrèmes. Dans la même logique, au lieu d'écréter les valeurs extrèmes, on va simplement les supprimer de la série, qui comportera alors moins de valeurs.

 

Rejet des 10% extrèmes

1, 30, 30, 31, 32, 34, 35, 36, 40, 1200

=> la moyenne passe alors à 33.5

=> la médiane est inchangée

=> l'écart type est de 3.5

 

Rejet des 20% extrèmes

1, 30, 30, 31, 32, 34, 35, 36, 40, 1200

=> la moyenne passe alors à 33

=> la médiane est inchangée

=> l'écart type est de 2.4

Modifié 6 janvier 2016 par Fred_76

[syncopatte]

Merci pour ces explications!

 

Comment "traduit"-on les pourcentages (là c'est clair, avec 10%, 20%...) en taux de sigma low et high?

 

Patte.

[litobrit]

Merci Fred pour ces explications claires.

Je croyais que le Winsor clipping était un navire de la Queen Elisabeth ?

[litobrit]

doublon de doublon...

[litobrit]

doublon

[Azergoth]

Le Winsorized sigma clipping est un variante du sigma clipping, si ma mémoire est bonne. Un peu plus robuste, mais assez similaire.

 

Merci pour ces explications!

 

Comment "traduit"-on les pourcentages (là c'est clair, avec 10%, 20%...) en taux de sigma low et high?

 

Patte.

 

Patte, tu veux dire: "comment choisit-on les sigma low/high afin d'obtenir un taux de réjection de X %? "

[syncopatte]

Oui!

 

Mais je pense avoir compris: une plus grande valeur donne moins de réjection.

Et la "traduction" en termes de pourcentages est obtenue à posteriori, après l'opération.

 

Patte.

[Azergoth]

Oui!

 

Mais je pense avoir compris: une plus grande valeur donne moins de réjection.

Et la "traduction" en termes de pourcentages est obtenue à posteriori, après l'opération.

 

Patte.

 

Yes! Tout à fait :-)

Et c'était ma question initiale, je trouvais mes valeurs de réjection (en %) étrange par rapport aux paramètres que je donnais:

 

Peu de réjection "low" malgré un sigma bas,

Beaucoup de réjection "high" malgré un sigma haut.

 

J'aurais voulu comprendre d'où ça venait et pourquoi c'était si asymétrique.

Sur Canon, des valeurs de sigma aux alentours de 3 donnent des réjection d'environ 0,2% en low ET high (à la grosse louche).

[Discret68]

 

Quel est l'impact "visuel" lors du traitement des brutes avec des darks/flats obtenus avec un taux de réjection plus ou moins important ?

[Fred_76]

La différence entre la moyenne de Winsor (du nom du biologiste qui a mis au point cette méthode) et la moyenne après par l'écart type (averaged sigma clipping) est que :

- dans la première méthode, on précise un pourcentage qui va déterminer les valeurs à écréter dans la liste triée

- dans la seconde méthode, on précise un écart type (sigma) et toutes les valeurs qui dépassent ce seuil seront écrétées : cela suppose une distribution normale de l'échantillon, et pour bien définir la distribution, il faut un centre. Ce centre peut être calculé de plusieurs façons, par exemple en prenant la moyenne ou la médiane. Avec la moyenne, on peut itérer le calcul plusieurs fois, ce qui a pour effet de déplacer à chaque fois le centre (ce que fait Iris) de la cloche.

 

Les deux méthodes ne sont donc pas tout à fait équivalentes, mais donnent généralement des résultats assez similaires si la distribution des valeurs, y compris les valeurs déviantes, suit une loi normale. On aura un écart si la distribution est biaisée (la Winsor écrète le même nombre de valeurs à droite et à gauche de la liste, alors que la sigma clipping peut en écréter un nombre différent).

 

Par contre, après avoir revu PixInsight, il est écrit qu'ils font du "Winsorized sigma clipping". Je ne vois pas à quoi cela peut correspondre. Ce n'est pas comme ça que Charles P. Winsor a défini sa méthode...

 

Je pense que PI fait un mélange des deux méthodes. Ainsi si on choisi un % de 10% et un écart type de 2, on aurait :

étape 1) écrétage des extrémités (Winsor) :

1, 30, 30, 31, 32, 34, 35, 36, 40, 1200

devient :

30, 30, 30, 31, 32, 34, 35, 36, 40, 40

 

étape 2) calcul de la médiane =33

Puis écrétage des valeurs à +/- sigma, donc entre 33-2=31 et 33+2=35

La liste devient :

31, 31, 31, 31, 32, 34, 35, 35, 35, 35

La moyenne devient alors 32.65

Modifié 6 janvier 2016 par Fred_76

[Coch]

Est-ce que l'écrêtage n'est pas une meilleure méthode ? Avec un Sigma clipping, je me demande si on ne force pas les valeurs extrêmes, ce qui n'est pas rigoureux. Dès qu'on admet des valeurs à écarter, c'est qu'on les considère comme mauvaises et irrelevantes. Pourquoi les remplacer ? La moyenne du reste est plus "honnête", non ?

 

Christian

[Fred_76]

Aucune idée, c'est une méthode de traitement du signal comme une autre...

 

Note que écrétage ou clipping c'est la même chose. Quand on écrète, on remplace les valeurs extrèmes par une valeur seuil. En clipping c'est pareil. C'est le rejet/rejection qui exclue les valeurs extrèmes.

Modifié 6 janvier 2016 par Fred_76

[Azergoth]

Pour en revenir à la question de base:

 

Quelqu'un aurait une idée de POURQUOI j'ai un taux aussi asymétrique?

[litobrit]

Parce que tu as plus de pixels chauds que de pixels froids ?

[Azergoth]

Parce que tu as plus de pixels chauds que de pixels froids ?

 

Pas faux, pas faux...

[F83eric]

Pour info, à l'attention de ceux qui n'utilisent pas PixInsight ou Siril, le Winsorised Mean correspond peu ou prou au Sigma Clipping d'Iris ou de DSS.

 

Mathématiquement, cela consiste à remplacer...

Merci tu es très clair

[Idir]

très bon post...hop dans les favoris.

[Discret68]

J'en profite pour reposer ma question car elle semble passée inaperçue :

 

Quel est l'impact "visuel" lors du traitement des brutes avec des darks/flats obtenus avec un taux de réjection plus ou moins important ?

[Fred_76]

A vrai dire, le plus simple est que tu essayes... je ne pense pas qu'un traitement appliqué sur une image puisse se généraliser à une autre dans ce cas précis.

[Discret68]

A vrai dire, le plus simple est que tu essayes... je ne pense pas qu'un traitement appliqué sur une image puisse se généraliser à une autre dans ce cas précis.

 

J'ai fait l'essai et si je pose la question, c'est que j'ai un doute sur le résultat que j'obtiens.

 

Sur la première image de M1 que j'ai traité avec PI (http://www.webastro.net/forum/showthread.php?t=134660), lors du traitement des darks, je ne suis pas descendu très bas au niveau réjection. Au final, si tu regardes le crop 100%, tu apercevras des taches noires.

 

J'ai repris les darks en réduisant au maximum le niveau de réjection, et je n'ai plus ces taches. Manifestement, ça pourrait être la réponse à la question. Mais comme je n'ai réalisé qu'un seul essai, j'ai du mal à validé mon résultat.

[litobrit]

J'en profite pour reposer ma question car elle semble passée inaperçue :

 

Quel est l'impact "visuel" lors du traitement des brutes avec des darks/flats obtenus avec un taux de réjection plus ou moins important ?

C'est de moyenner les pixels déviants en conservant le meilleur RSB. La limite est donnée par le début de la suppression de pixels non déviants quand on diminue le taux de rejection. Px permet de surveiller le RSB en fonction des sigmas.

L'équilibrage des poses est essentiel pour que le calcul de rejection soit efficace.

[Quercus]

...

J'ai repris les darks en réduisant au maximum le niveau de réjection, et je n'ai plus ces taches. Manifestement, ça pourrait être la réponse à la question. Mais comme je n'ai réalisé qu'un seul essai, j'ai du mal à validé mon résultat.

Salut,

très intéressant ce post et tu as poser la question qui me tracassait un peu.

J'ai moi même ces pixels noirs qui me chagrine et je me demande si ce n'est pas le même problème que toi. A combien de pourcentage es tu descendu pour les rejections au final svp?

[Discret68]

Salut,

très intéressant ce post et tu as poser la question qui me tracassait un peu.

J'ai moi même ces pixels noirs qui me chagrine et je me demande si ce n'est pas le même problème que toi. A combien de pourcentage es tu descendu pour les rejections au final svp?

 

Salut Quercus

 

Je suis descendu à moins de 0,01 % de taux de réjection. Pour le sigma high, cela m'a conduit à monter à 10 pour y arriver.

 

Mais comme dit, je ne suis pas sûr qu'avec un seul essai, ce soit bien ça la cause de mon problème.

 

Et puis, sur le taux de réjection maximal à obtenir, je n'ai aucune idée de l'objectif à atteindre.

[Discret68]

C'est de moyenner les pixels déviants en conservant le meilleur RSB. La limite est donnée par le début de la suppression de pixels non déviants quand on diminue le taux de rejection. Px permet de surveiller le RSB en fonction des sigmas.

 

Désolé litobrit, je n'ai rien compris de concret dans ce que tu expliques. Parles moi en "blaireau de base" que je puisse comprendre

 

Concrètement, ce qui m'intéresse, c'est qu'est-ce qu'on peut voir de différent à l’œil (tôt ou tard dans toute la phase de traitement) sur une brute qui a été calibrée avec un MasterDark qui un taux de réjection de 1% et la même brute qui a été calibrée avec un MasterDark qui un taux de réjection de 0,1%. Là est la question.

[litobrit]

On est tous des blaireaux plus ou moins expérimentés...

Je ne vois pas trop ce que le taux de rejection a à voir avec le masterdark

La rejection intervient au moment de l'empilement des poses. Il y a différents types de pixels non souhaités (qui n'ont pas de rapport avec l'objet). Par exemple ceux créés par les rayons cosmiques qui n'apparaissent que sur une pose.

Ou les pixels chauds et froids liés au défauts du capteur et non corrigés par les darks. Ceux ci apparaissent aux mêmes coordonnées sur le capteur à chaque pose.

Pour les éliminer, on décale les poses d'une faible valeur (dithering) et lors de l'empilement le soft recale les poses pour que les étoiles se superposent. Les pixels déviants se retrouvent décalés et le soft les détecte avec les paramètres d'écarts entre poses choisis (sigma ou taux) et les remplace par une valeur moyenne ou autre.

On peut même en utilisant cette méthode ne pas faire de darks avec une camera refroidie.

Les défauts n'apparaissant que sur une pose comme les rayons cosmiques sont plus facile à éliminer.

Pour que le processus fonctionne, il faut que les poses présentent une valeur moyenne à peu prés semblable. Les softs de registration proposent en général plusieurs façons de moyenner les poses avant registration.

Une trop grande rejection entraine une diminution du rapport signal sur bruit, une trop faible laisse les pixels chauds ou froids apparents.

Les paramètres de base des softs fonctionnent en général pas trop mal pour une première approximation.

[Discret68]

On est tous des blaireaux plus ou moins expérimentés...

 

C'est bien vrai, mais l'inverse est vrai également, j'ai aussi rencontré des experts qui étaient un peu blaireau sur les bords

 

Je ne vois pas trop ce que le taux de rejection a à voir avec le masterdark

La rejection intervient au moment de l'empilement des poses. Il y a différents types de pixels non souhaités (qui n'ont pas de rapport avec l'objet). Par exemple ceux créés par les rayons cosmiques qui n'apparaissent que sur une pose.

 

Dans PI, la création des MarsterBias et MasterDark passent par un empilement de poses unitaires (process ImageIntegration). C'est le même process qui est utilisé pour l'empilement des brutes. Au niveau du process, dans la partie "Pixel Rejection (1)", se trouvent les paramètres Sigma low et Sigma high qui permettent de rejeter plus ou moins de pixels.

 

Dans les différents tutos que j'ai consulté, il y a bien cette étape de réjection à appliquer lors de la création des 2 masters (bias et dark) avec une préconisation qui est d'en rejeter le moins