Bias synthétique...Pixinsinght

[180Vision]

Bonjour,

 

Utilisant à ce jour Siril+Sirilic pour toute la phase preprocessing, j'essaye de tester l'intégration/pre-traitement via pix pour comparer et surtout ne pas diversifier nécessairement les outils si pas indispensable.

 

MAIS, je me heurte à un écueil et une question/doute.

 

L'obstacle est l'utilisation dans pix d'une "valeur" de bias comme je le fais depuis des mois via Siril (et via articles de @Colmic en outre).

https://siril.org/2021/12/enough-with-dark-flats/

 

Peut on dans pix et la calibration/preprocess, faire de même ou est-on condamnés au "vrai" masterbias issu de fichiers ?

 

Ensuite, j'ai l'habitude du coup aussi, du fait de la simplification mathématique, de ne soustraire le bias QUE du master flat et ne pas calibrer le masterdark ni les images avec le bias (vu que le signal d'offset est aussi dans les darks....)

https://siril.org/fr/tutorials/tuto-manual/

 

Est-on "obligés" dans pix de suivre le chemin "classique", en outre avec WBPP et des fichiers master directement, ou non et ne calibrer que les flats avec le masterbias ?

Si je prend les tutos de JBA, je vois clairement que tout est calibré "à l'ancienne"... https://millenniumphoton.com/pretraitement-image-ccd-monochrome/#dark

 

Utilisez-vous d'ailleurs les process séparés "imagecalibration","imageintegration","cosmetic", etc... ou justement WBPP par exemple ?

Avec tous les fichiers de calibration ou avec UN master "pré intégré" pour chaque dark/bias/flats ?

 

Merci d'avance pour vos retours !

 

Modifié 22 juillet 2023 par 180Vision

[krotdebouk]

Je me suis fait une partie master flat calibré par offset synthétique.

Première étape, calibrer les flats par offset synthétique : la détermination de "k" est expliquée à https://siril.org/fr/tutorials/synthetic-biases/. Il dépend de chaque caméra, 10 pour ma 2600, 64 pour ma 294MC

Le pixelmath qui me fait ça :

 

ImageContainer permet de calibrer tous les flats.

Puis ImageIntegration pour générer le master flat.

Ca donne ça

 

Je prétraite mes images comme ça depuis plus d'un an, nickel. Il doit même être possible d'utiliser ensuite ce master flat dans WBPP...

MasterFlatSynthetique.xpsm

 

Il y a 1 heure, 180Vision a dit :

Utilisez-vous d'ailleurs les process séparés "imagecalibration","imageintegration","cosmetic", etc... ou justement WBPP par exemple ?

Rien d'automatique pour moi, c'est beaucoup plus amusant

En fait j'aime bien contrôler certaines parties comme le retrait de gradient sur chaque image qui va dépendre de quelques évènements locaux comme la PL de la grande ville d'à côté et la position de la Lune puis le résultat des réjections à l'empilement.

Modifié 22 juillet 2023 par krotdebouk

[180Vision]

Merci@krotdebouk

Ça va même plus loin que ma demande !

 

En fait, je cherche au départ comment dans prix tu soustrait ta valeur de bias autrement que par les fichiers, comme je fais dans siril.

 

Mon k=64 moi et mon offset habituel 8, ce qui fait que j'enlève 512 en valeur dans siril à l'endroit des bias.

 

En fait, tu es en train de me dire qu'il suffit de faire une soustraction pixel math ? Et que suis pas bien malin....

 

Par contre, ma 183m est en 12 bits mais ramené à 14 buts je crois en sortie... Tu crois qu'il faut que je prenne 12 ou 14?

 

Du coup tu fais un pixel math en mode batch sur les fichiers flats unitaires et empilé ensuite ?

 

[nico1038]

Hello @180Vision

 

Il y a 17 heures, 180Vision a dit :

L'obstacle est l'utilisation dans pix d'une "valeur" de bias comme je le fais depuis des mois via Siril (et via articles de @Colmic en outre).

https://siril.org/2021/12/enough-with-dark-flats/

 

Peut on dans pix et la calibration/preprocess, faire de même ou est-on condamnés au "vrai" masterbias issu de fichiers ?

 

Je ne pratique pas moi même cette méthode (car je n'en vois pas vraiment l’intérêt et qu'elle ne me semble applicable que sur des caméras refroidies) mais c'est possible comme l'indique @krotdebouk

 

Il y a 17 heures, 180Vision a dit :

Ensuite, j'ai l'habitude du coup aussi, du fait de la simplification mathématique, de ne soustraire le bias QUE du master flat et ne pas calibrer le masterdark ni les images avec le bias (vu que le signal d'offset est aussi dans les darks....)

https://siril.org/fr/tutorials/tuto-manual/

 

Est-on "obligés" dans pix de suivre le chemin "classique", en outre avec WBPP et des fichiers master directement, ou non et ne calibrer que les flats avec le masterbias ?

Si je prend les tutos de JBA, je vois clairement que tout est calibré "à l'ancienne"... https://millenniumphoton.com/pretraitement-image-ccd-monochrome/#dark

 

Je crois que tu fais erreur sur le chemin "classique". Le prétraitement habituelle d'une image consiste bien à n'utiliser les bias que pour calibrer les flats. C'est la méthode de base employée par l'ensemble des logiciels à ma connaissance et notamment par Pixinsight dans WBPP. 

La seul exception est lorsqu'on va utiliser une optimisation du masterdark (quand on a pas de darks de la même durée que ses lights)

 

 

Il y a 17 heures, 180Vision a dit :

Utilisez-vous d'ailleurs les process séparés "imagecalibration","imageintegration","cosmetic", etc... ou justement WBPP par exemple ?

 

A vrai dire je ne suis pas vraiment un adepte de la méthode manuelle. WBPP fait un très bon travail pour expliquer ce qu'il fait et permet je trouve de comprendre exactement ce qui se passe.

De plus lors de mes test sur des images difficiles (des images grand champs en général) j'ai toujours eu de meilleurs résultats en passant par WBPP.

Cela n'empêche pas d'essayer d'optimiser le prétraitement comme par exemple les paramètres de rejection, la correction cosmetique, les algorithmes d'alignement,...)

 

Il y a 16 heures, krotdebouk a dit :

En fait j'aime bien contrôler certaines parties comme le retrait de gradient sur chaque image qui va dépendre de quelques évènements locaux comme la PL de la grande ville d'à côté et la position de la Lune puis le résultat des réjections à l'empilement.

 

Personnellement je ne suis pas convaincu par l'approche consistant à enlever le gradient sur chaque image avant de les intégrer. Le gradient évoluant à chaque prise et, comme un retrait automatique du gradient (avec ABE) sur chaque image ne va pas le corriger parfaitement,  on risque, à l'intégration,  de se retrouver avec des gradients artificielles et des structures créés par le procédé lui même.

Le procédé local normalisation de Pix va au contraire essayer de normaliser les gradients en prenant la (ou les) meilleure(s) image(s) comme référence afin d'obtenir le gradient le plus faible et le plus homogène après intégration.

Modifié 23 juillet 2023 par nico1038

[180Vision]

37 minutes ago, nico1038 said:

Je ne pratique pas moi même cette méthode (car je n'en vois pas vraiment l’intérêt et qu'elle ne me semble applicable que sur des caméras refroidies) mais c'est possible comme l'indique @krotdebouk

 

Oui, c'est bien mon cas et que je pratique dans Siril depuis un moment !

 

[180Vision]

40 minutes ago, nico1038 said:

Je crois que tu fais erreur sur le chemin "classique". Le prétraitement habituelle d'une image consiste bien à n'utiliser les bias que pour calibrer les flats. C'est la méthode de base employée par l'ensemble des logiciels à ma connaissance et notamment par Pixinsight dans WBPP. 

 

Oui et non, certains, en manuel, font justement la calibration de chaque, en l'occurrence en mode bibliothèque...

C'est pour cela que je voulais savoir comment WBPP s'attend à avoir les fichiers de calibration, en outre quand on lui donne un masterdark fait avec des darks non calibrés !

S'attend-il  à ça ou au contraire à un masterdark - bias car il soustrairait aussi le bias des lights ?

 

Donc, tu me confirmes @nico1038 que WBPP peut recevoir un masterdark, des flats et un masterbias (éventuellement synthétique) et qu'il ne soustrait le bias QUE des flats, comme logiquement attendu ?

[nico1038]

Il y a 1 heure, 180Vision a dit :

Donc, tu me confirmes @nico1038 que WBPP peut recevoir un masterdark, des flats et un masterbias (éventuellement synthétique) et qu'il ne soustrait le bias QUE des flats, comme logiquement attendu ?

 

Absolument: tant que tu ne coches pas "optimize Master dark" cela devrait marcher comme tu le dis.

 

Modifié 23 juillet 2023 par nico1038

[180Vision]

1 hour ago, nico1038 said:

 

Absolument: tant que tu ne coches pas "optimize Master dark" cela devrait marcher comme tu le dis.

 

 

Ok, ça lève mon doute donc, merci !

 

[astrotech]

Bonjour

Petit déterrage...

 

J'ai voulu tester.

J'ai une QHY163 en 12bits. Testé sur image Ha 300s et flat 6s .

 

1- j'ai pris des images d'offset avec différentes valeurs d'offset. Sous Pix, j'ai relevé le niveau "mean" et tracé la graph.

 

 

Donc ma valeur est k=16.

 

2. sous Pix, j'ai appliqué cette valeur à mes flats via une formule de @krotdebouk

 

3. et j'ai lancé le prétraitement via WBPP.

J'ai fais plusieurs essais:

- prétraitement classique: masteroffset + masterdark (darks pour la durée de mes images) + masterflat (flat non corrigé)

- prétraitement : SANS masteroffset +  masterdark (darks pour la durée de mes images) + masterflat (flat corrigé de la valeur de 16) )

- prétraitement : SANS masteroffset +  masterdark (darks pour la durée de mes images) + masterdark (de la durée des flats) +  masterflat (flat NON corrigé)

- prétraitement : SANS masteroffset +  masterdark (darks pour la durée de mes images) + masterdark (de la durée des flats) +  masterflat (flat corrigé de la valeur de 16)

- prétraitement : masteroffset +  masterdark (darks pour la durée de mes images) + masterflat (flat corrigé de la valeur de 16)

 

4. Résultats

J'ai regardé mes 5 images en même temps, je n'ai vu aucune différence........ déçu...

Les Stats retournées par PIX sont les mêmes ou quasiment  les mêmes ...

 

Aurais-je loupé quelque chose ?

 

@+

Steph

[krotdebouk]

Il y a 6 heures, astrotech a dit :

Aurais-je loupé quelque chose ?

Je n'en sais rien mais merci pour tes tests.

La comparaison entre la première colonne (masterflat (flat non corrigé)) et la dernière (masterflat (flat corrigé de la valeur de 16)) est intéressante..

 

[nico1038]

Il y a 11 heures, astrotech a dit :

Bonjour

Petit déterrage...

 

J'ai voulu tester.

J'ai une QHY163 en 12bits. Testé sur image Ha 300s et flat 6s .

 

1- j'ai pris des images d'offset avec différentes valeurs d'offset. Sous Pix, j'ai relevé le niveau "mean" et tracé la graph.

 

 

Donc ma valeur est k=16.

 

2. sous Pix, j'ai appliqué cette valeur à mes flats via une formule de @krotdebouk

 

3. et j'ai lancé le prétraitement via WBPP.

J'ai fais plusieurs essais:

- prétraitement classique: masteroffset + masterdark (darks pour la durée de mes images) + masterflat (flat non corrigé)

- prétraitement : SANS masteroffset +  masterdark (darks pour la durée de mes images) + masterflat (flat corrigé de la valeur de 16) )

- prétraitement : SANS masteroffset +  masterdark (darks pour la durée de mes images) + masterdark (de la durée des flats) +  masterflat (flat NON corrigé)

- prétraitement : SANS masteroffset +  masterdark (darks pour la durée de mes images) + masterdark (de la durée des flats) +  masterflat (flat corrigé de la valeur de 16)

- prétraitement : masteroffset +  masterdark (darks pour la durée de mes images) + masterflat (flat corrigé de la valeur de 16)

 

4. Résultats

J'ai regardé mes 5 images en même temps, je n'ai vu aucune différence........ déçu...

Les Stats retournées par PIX sont les mêmes ou quasiment  les mêmes ...

 

Aurais-je loupé quelque chose ?

 

@+

Steph

 

Hello Steph,

 

Quels résultats espérais-tu obtenir ?

 

On lit parfois qu'utiliser un masterbias synthétique évite d'introduire du bruit dans les images (ce qui est vrai) mais, comme toujours, il faut raisonner en terme de SNR et un masterbias constitué de suffisamment d'image contient en réalité plus de signal (indésirable) que de bruit et l'utilisation d'une valeur de bias synthétique n'améliore donc pas les images...

 

Tout cela est en fait négligeable (pour ce qui est du masterbias) et l'utilisation d'une valeur synthétique est parfaitement raisonnable (au moins pour une utilisation en astrophoto) mais cette idée que cette technique serait meilleur est pernicieuse car elle engendre des attentes irréalistes et laisse entendre que les fichiers de calibration dégradent les images. 

J'ai même eu récemment une discussion sur le forum d'en face ou certains disaient qu'il fallait mieux ne faire aucun DOF sous prétexte qu'ils introduisent du bruit!

 

Quant au fait que tu obtiennes des résultats similaires, même quand tu ne calibres pas tes flats, ce n'est pas très étonnant. La soustraction de l'offset est beaucoup plus importantes pour les lights (qui ont en général un niveau moyen de signal très faible) que pour les flats qui sont normalement exposés autour de 50%

 

Si on regarde l'équation de calibration suivante :

Image_calibrée = (Image_brute - offset) / (Flat - offset) * Moyenne (Flat) 

 

on comprend  bien que l'influence de l'offset sur le numérateur est bien plus importe que sur le dénominateur

 

C'est ce qui est illustré sur le graph suivant avec la courbe jaune (https://siril.org/fr/tutorials/synthetic-biases/):

 

Cela signifie qu'avec des flats correctement exposés et avec un réglage d'offset correct (pas trop élevé), la calibration des flats ne changent en fait pas grand-chose au résultat final.

 

Je m'interroge aussi sur tes essais 4 et 5: si je comprends bien, pour ces 2 essais tu calibres à la fois tes flats de façon traditionnelle (avec un masterdark de la durée des flats pour l'essai 4 et avec un masterbias pour l'essai 5) mais tu soustrais en plus une valeur fixe de tes flats, ils sont donc calibrés 2 fois!

 

Dernière chose : as-tu bien pris en compte le fait que ton image est en 12 bits et qu'il faut donc diviser l'offset par 2^12 plutôt que par 2^16.

Si je reprends la formule pixelmath de @krotdebouk cela donne :

$T - k*offset/2^12

 

Nico

Modifié il y a 2 heures par nico1038

[krotdebouk]

Le bias synthétique j'ai arrêté depuis que j'ai pris NXT et BXT..
Les explications de @nico1038 sur le pattern d'un master bias réel qui n'est pas présent dans un bias synthétique ont mis un terme à la méthode me concernant.