Aide relancer SIRIL-IC planté après 40h

[Pierreuh]

Bonjour à tous,

 

ayant acquis près de 9h d'exposition en plus de 2000 poses de 15 secondes au Sony A7S (croppé APS-C heureusement) sur le Triplet Du Lion en 2 sessions, j'ai voulu tenter un empilement sous SIRIL-IC en multisession.

 

Plus de 300go étaient disponibles sur mon disque dur, mais j'ai constaté avec horreur qu'après plus de 40h de calcul, l'empilement final a planté (plus que 11go de dispo, c'est la cause je pense) et je me retrouve avec mes 2 resultat.fit intermédiaires des deux sessions et je n'aimerais vraiment pas devoir tout relancer, y-a-il une solution pour empiler ces deux resultats? Sachant que je n'ai plus le déroulé effectué du script de l'onglet LOG ni de fichier projet à rouvrir, uniquement tous les dossiers avec les milliers de fichiers intermédiaires. J'ai travaillé en drizzle et correction cosmétique. Ah, et je suis très peu familier avec l'utilisation manuelle de SIRIL (si la solution consiste à passer ce logiciel directement) je n'utilisais que les SCRIPTS jusque là, je risque d'être vite perdu si les explications sont un peu rapides 😄

 

Un grand merci par avance,
Pierre

Modifié 28 mars 2020 par Pierreuh

[lock042]

Déja tu devrais essayer sans Drizzle.

Ensuite, quand tu dis "planté" c'est pas précis. Et on ne peut pas trop aider sur cette base.

[Pierreuh]

Ah? Je pensais que pour le Sony A7S le drizzle était préférable...

 

J'ai lancé SIRIL-IC en mode multisession (deux sessions) avec création des résultats intermédiaires avant la création du résultat final. Le logiciel a bien pu crééer les deux resultat.fit intermédiaires à partir des deux piles de brutes qu'il a pu traiter avec les DOF et empiler, mais a échoué à créer le resultat.fit final (à cause d'un manque de place sur le disque dur où il ne restait plus que 11go à ce moment sur les 300 disponibles au moment du lancement du script je suppose).

Hum... voilà, donc je me demande quelle est la meilleure façon de relancer un calcul avec les éléments créés, vu que j'ai quand même un bon bout du travail qui a pu être fait (les deux resultat.fit sont bien aboutis je les ai ouvert avec SIRIL pour vérifier)

EDIT: je viens de me rendre compte que tous les fichiers intermédiaires ont été supprimé, donc en fait j'ai plus qu'à tout relancer à moins que je puisse assembler les deux fichiers "resultat.fit" ensemble?

Modifié 28 mars 2020 par Pierreuh

[Pierreuh]

Bonjour,

 

j'ai relancé mon calcul avec plus d'espace disque dur disponible et en supprimant les empilements intermédiaires du mode multi-session et le calcul s'est arrêté après une dizaine d'heure, ci-dessous la capture d'écran du message d'erreur:

 

"FITSIO status = 104: could not open the named file
free and close (1)

failed to find or open the following file: (ffopen)
r_image_group02042.fit"

Si je regarde dans mon dossier GROUP, le fichier r_image_group02042.fit s'y trouve bien, donc il n'a pas réussi à l'ouvrir... (il a réussi à ouvrir les autres, je voyais les noms défiler en bas au moment où le calcul a stoppé).

 

Le fichier ne semble pas corrompu, je peux l'ouvrir avec SIRIL...

 

Même question qu'hier, y a-t-il une manière de relancer le calcul après avoir identifié une cause possible?

En vous remerciant,
Pierre

Modifié 29 mars 2020 par Pierreuh

[lock042]

WIndows est limité a 2048 fichiers pour les ouvrir en meme temps. Je pense que ceci peut expliquer cela.

Essaye de faire un empilement par somme. Si ca marche, ca peut etre ça.

[Pierreuh]

Ok merci beaucoup, j'avais eu le problème hier, j'avais 2112 fichiers et j'en avais enlevé pour arriver à 2047 je pensais que ça suffirait.

 

Mais est-ce que je suis obligé de nettoyer tout le répertoire et tout relancer depuis le début du coup?

[lock042]

il y a 1 minute, Pierreuh a dit :

Mais est-ce que je suis obligé de nettoyer tout le répertoire et tout relancer depuis le début du coup?

Sinon il y'a une solution si tu as le temps.

Converti tous tes fichiers en un seul fichier SER (siril le fait).

[Pierreuh]

Ah, je pensais qu'il y avait une solution simple pour réutiliser tous les fichiers .fit déjà créés...

 

Bon je vais tout relancer en enlevant encore une dizaine de bruts et si ça ne suffit pas, je passerais en empilement par somme.

 

Merci!

[lock042]

Sinon, pour le comportement de Sirilic, @m27trognondepomme pourra mieux te dire. Siril laisse les images intérmédiaires pour justement ne pas toujours reprendre de 0.

[Pierreuh]

Ah d'accord, merci je pourrais le contacter. 

Là j'ai tout relancé, j'avoue qu'après avoir bidouillé un peu avec ce logiciel j'ai l'impression qu'il vaut mieux tout relancer pour être tranquille... SIRILIC crée de nouveaux noms de fichiers quand il traite les brutes et on ne peut pas retrouver la correspondance entre les brutes et les images traitées en .fit donc pas évident de savoir quoi supprimer dans les répertoires dans mon cas où je voulais relancer avec quelques images en moins...

[m27trognondepomme]

Le 29/03/2020 à 12:57, Pierreuh a dit :

SIRILIC crée de nouveaux noms de fichiers quand il traite les brutes et on ne peut pas retrouver la correspondance entre les brutes

Dans la prochaine version, les images seront numérotées  dans le même ordre que leur date création des images source

[m27trognondepomme]

Le 29/03/2020 à 12:11, lock042 a dit :

Siril laisse les images intérmédiaires pour justement ne pas toujours reprendre de 0.

Oui, Sirilic laisse toutes les images intermédiaires des traitements,

il suffit :

• soit de lancer Siril en manuel à partir des fichiers de l'étape avant le plantage.
• soit encore d'éditer le script généré (sirilic-part1/2.ssf) en supprimant les premières étapes qui sont passées correctement. puis de lancer le script modifié directement à partir de Siril

[Pierreuh]

Bonjour m27trognondepomme,

 

merci beaucoup pour ces précisions! Au final mon image a pu être créée après 38h de calcul, je pense que j'éviterais de m'approcher des extrêmes de nombre d'images pour les prochaines fois.

 

Bonne journée,
Pierre

[Pierreuh]

Rebonjour @m27trognondepomme et @lock042,

 

j'ai également empilé mes 4 premières heures de photos d'une part sous SIRIL avec le script drizzle + correction cosmétique (première photo), et d'autre part sous SIRIL-IC  (deuxième photo) suivant les paramètres ci dessous:

 

 

Les images ont ensuite été traitées sous SIRIL suivant le tuto de @Colmic

 

 

 

On voit que les résultats sont très différents, le résultat sous SIRIL-IC a fait ressortir plus de signal mais certains détails des galaxies deviennent plus compliqués à distinguer et le gradient est plus marqué, je me demande de quoi ça peut venir du coup...

P.S: l'empilement sous SIRIL était encore avec la version 0.9.11, puis j'ai pris la 0.9.12 pour l'empilement avec SIRIL-IC, je ne sais pas si ça change quelque chose...

 

Merci par avance d'éclairer ma lanterne.
Pierre

Modifié 31 mars 2020 par Pierreuh

[m27trognondepomme]

dans la programmation des traitements de sirilic, tu ne fais pas les mêmes que dans le script drizzle.

 

par exemple, tu enlèves l'offset au dark alors que dans le script , il n'est pas soustrait au dark.

 

 

[m27trognondepomme]

Sirilic:

OffsetM          = stack(Offset)

DarkM            = stack( Dark-OffsetM)

FlatM              = stack(Flat-OffsetM)

Image_corrige = ( Image - OffsetM - DarkM ) / FlatM

 

Script Drizzle:

OffsetM          = stack(Offset)

DarkM            = stack( Dark)

FlatM              = stack(Flat-OffsetM)

Image_corrige = ( Image  - DarkM ) / FlatM

 

Dans Sirilic, si tu décoches l'option retrait Offset dans Image et Dark, tu devrais avoir le même résultat. ( en lançant la même version de Siril ).

Modifié 31 mars 2020 par m27trognondepomme

[Pierreuh]

Ah super, merci beaucoup pour le détail! Mais ça pourrait expliquer une telle différence de rendu, le fait de supprimer plus de fois l'offset?

Pour Sirilic j'ai appliqué ce qui est dans le processus et dans le tuto, pour Siril je ne savais pas ce qui était dans le script...

J'avoue être un peu perdu là dedans... au vu des deux rendus, que penses-tu être le plus pertinent à appliquer? Ou bien appliquer encore une autre variante?

Merci,
Pierre

[m27trognondepomme]

Les 2 méthodes sont équivalentes mais pas le résultat.

 

1. si tu enlèves l'offset au dark , tu dois donc l'enlever des images.
2. si tu ne soustrait pas l'offset du Dark, alors tu ne dois pas l'enlever des images.

Je ne suis pas assez spécialiste pour dire quelle méthode est à préconiser. Je sais quand je débutais en astrophoto avec mon EOS1000D, je suivais la méthode 1 ( tuto de IRIS ). Aujourd'hui, j'utilise la seconde avec ma caméra CMOS (ASI183)

 

Sirilic autorise toutes les possibilités.

 

Modifié 31 mars 2020 par m27trognondepomme

[Pierreuh]

D'accord, merci beaucoup pour toutes ces précisions!

 

Bonne nuit

[Colmic]

Salut,

dans mes scripts, je ne soustrais pas l'offset, en fait on ne se sert de l'offset que pour le flat. Donc il faut faire ses offsets au même ISO que les flats (s'ils ne sont pas au même ISO que les brutes).

 

On est pour la quasi-totalité des APN sur des capteurs CMOS. Or avec certains capteurs CMOS, il ne faut pas faire d'optimisation du dark.

Comme le retrait d'offset du dark n'est valable que dans ce cas-là (optimisation du dark), on peut dire qu'on s'en passe sans problème.

 

Et en plus, ça simplifie grandement les scripts

[Pierreuh]

Bonjour @Colmic,

 

merci pour ces precisions, si je comprends bien étant donné que j'ai fait toutes mes acquisitions au même ISO, avec un Sony A7S donc CMOS, je ne devrais normalement avoir quasi aucune différence entre la version script de Siril et la version SIRIL-IC ? Quel résultat te paraît le plus "juste" dans ce que j'ai obtenu ?

 

Pierre

[Pierreuh]

Je viens de relancer le calcul avec une heure de pause d'une part sous SIRIL en script sans flat (donc également sans utilisation d'Offset apriori) et d'autre part sous SIRIL-IC pareil sans flat, sans drizzle ni correction cosmétique mais en laissant le retrait d'Offset du dark et de l'image et ce coup-ci, les résultats sont parfaitement identiques.

 

On dirait du coup que les deux scripts n'utilisent pas les flats de la même manière mais pourtant, on leur soustrait bien le signal d'offset dans les deux cas...