Acheter une puissante workstation ou louer du temps CPU à distance sur d'énormes serveurs?

[Moot]

Il y a 3 heures, CCD1024 a dit :

oui, j'imagine que la programmation  GPU n'est pas simple.

De plus, il me semble obligatoire qu'il soit compatible NVIDIA et AMD pour contenter tout le monde. Encore plus compliqué.

J'imagine aussi que c'est très compliqué, mais ils ont eu des années pour s'y engager. Et pendant tout ce temps, les CPU ont fait assez peu de progrès (en fréquence comme en nombre de cœurs) : la loi de Moore est à la peine (elle a continué pour d'autres composants). Ma config de 2009 tient encore la route, alors que si j'en prends une de 1997 (pour faire 12 ans d'écart), elle est ridicule par rapport à celle de 2009, par exemple, la RAM de l'une est du même ordre que la capacité du disque dur de l'autre !

Et ce n'est pas pour faire une énième fois mon ronchon-étalon (ce que j'ai fait jusqu'ici), mais les histoires d'incompatibilités par absence de standard unifié, on a connu ça auparavant : Mac 68000 (puis PowerPC) contre PC x86 ; Netscape contre IE, etc. J'ai particulièrement connu le casse-tête de la conception de sites houaibe quand ils pouvaient s'afficher correctement sur mon poste et n'importe comment sur celui des copains...

[olivdeso]

Le 28/06/2021 à 17:46, Psynergie a dit :

Même avec un i7, 16GB de RAM et 1TB de SSD.

 

C'est la RAM le goulot d'étranglement. Il faut passer à 32Go ou 64Go si tu peux. Ça fait une énorme différence, j'ai vu jusqu'à jusqu'à X10 sur un Ryzen 8core de première génération  pour traiter des photos d'APN en passant de 16 à 64Go. (Plusieurs heures à 15minutes).

 

ça dépend du nombre de pixels bien sûr, mais de nous jours les APN ont au moins 20Mpixel et comme on fait des poses plus courtes qu'en CCD dans le même temps, ça demande énormément de RAM.

 

autre chose à optimiser pour PI : les accés disques pour la swap de PI. (La swap de PI est une mémoire tampon dans lequel il stocké tout ce qu'il fait pour pouvoir revenir en arrière)  Par défaut il n'y en a qu'un, mais avec un processeur multi core et un SSD il faut en mettre plusieurs. En gros autant que de core. Donc au moins 4.

Il suffit de dupliquer la ligne qui donne le chemin du répertoire de SWAP 4 fois.(4 à 8 fois pour un i7, 4 devrait suffire, et déjà un gros gain par rapport au à 1 seul.  Je ne pense pas que l'hyperthreading permet te de gagner beaucoup de en passant à 8  )

 

Le 28/06/2021 à 22:35, Psynergie a dit :

Mais pour une bombe, genre AMD Ryzen Threadripper 3990X 64-Core Processor (11) [56905]

 

Pas besoin un 5950 avec 64 Go coute 10x moins et fais l'affaire. Tu l'amortis en 1 an

[olivdeso]

Le 30/06/2021 à 08:12, CCD1024 a dit :

A Ciel Austral on a une méthode différente : on a Pépé, le roi du prétraitement 😆🤪

 

ça se loue ?  ça pourrait peut être...

 

Le 30/06/2021 à 12:42, Malik a dit :

Compris, du coup tu auras forcement la compression de l'image affichée via VNC

 

Oui. Le bureau à distance windows dégrade nettement moins à condition d'utiliser exactement les mêmes paramètres de résolution d'écran, couleur, etc.

 

Mais je pense que la solution est de faire le prétraitement sur la machine distante et de rapatrier l'image sur le PC local pour le traitement

 

Le 28/06/2021 à 22:35, Psynergie a dit :

le benchmark PixInsight https://pixinsight.com/benchmark/, le  Intel(R) Core(TM) i7-7600U CPU @ 2.80GHz (2) [3115] 3 lignes avant la fin du 1.8.8.-8, c'est moi

 

c'est normal que ça rame : outre les 16Go de ram qui sont une limitation, le processeur 7600U est une version low power avec seulement 2 cores physiques. Tu prends n'importe quel Ryzen à 8 coeurs, ça ira 4 fois plus vite au moins. Tu passe à 32Go de ram, là c'est plutôt un facteur x10 à mon avis si tu as 20Mpixels environ

[ursus]

il y a 33 minutes, olivdeso a dit :

Il suffit de dupliquer la ligne qui donne le chemin du répertoire de SWAP 4 fois.(4 à 8 fois pour un i7, 4 devrait suffire, et déjà un gros gain par rapport au à 1 seul.  Je ne pense pas que l'hyperthreading permet te de gagner beaucoup de en passant à 8  )

 

C'est dans les options de PI ce réglage?

 

 

[olivdeso]

il y a 5 minutes, ursus a dit :

 

C'est dans les options de PI ce réglage?

 

 

 

oui mais je ne sais plus où exactement, pas sous la main, mais il suffit de faire une recherche sur swap dans l'aide ou le forum PI

 

edit  Preferences>Directories and Network> Swap storage directories list

[ursus]

à l’instant, olivdeso a dit :

 

oui mais je ne sais plus où exactement, pas sous la main, mais il suffit de faire une recherche sur swap dans l'aide ou le forum PI

 

ok merci, je regarderais.

 

 

[olivdeso]

Preferences>Directories and Network> Swap storage directories list

 

il faut juste dupliquer la ligne qui donne le chemin de la swap plusieurs fois.

 

Si on a 2 SSD, ou peut mettre des accès sur les 2

 

Si on a beaucoup de ram (plus de 32) on peu faire un ram disk éventuellement.  Mais bon 2 SSD M2 NVME ça va a très vite déjà, 10x plus rapide qu'un seul SSD sata

[Psynergie]

Le 30/06/2021 à 16:56, CCD1024 a dit :

 

Il y a quand-même l'embarras du choix sur les logiciels d'acquisition :

APT, SGP, N.I.N.A., PRISM, MaximDL, TheSkyX, Firecapture, Sharpcap, SPIPS, Nebulosity, Voyager.... 

 

Oui c'est sur, mais n'arrive pas encore à la cheville de AstroPixel Processor sur ce type de possibilités.

 

Oui, je pensais ça aussi. Et peut-être que mon choix de caméras chinoises QHY en est la cause. Mais j'avais plusieurs problèmes avec le Stellarmate. Je trouvais que Jasem ne mettait pas beaucoup d'enthousiasme à répondre. J'avais tort. Le SM marche super-bien comparativement aux autres solutions sur PC. J'ai essayé différentes applis. Toujours des problèmes de drivers ASCOM pas compatibles (genre il ne voit pas la roue à filtres ou il perd la config ou etc...), ou des séquences beaucoup moins évoluées que sur SM (sur SM, tu programmes ta séquence et tous les fichiers sont automatiquement renommés et stockés au bon endroit), etc. Le plus abouti en terme de fonctionnement me semblait SGP, mais avec plein de problèmes de jeunesse... Finalement, je suis revenu - penaud - au SM. Mais j'ai encore des problèmes avec certains drivers INDI.

[Malik]

il y a 52 minutes, Psynergie a dit :

Le plus abouti en terme de fonctionnement me semblait SGP, mais avec plein de problèmes de jeunesse...

 

c'etait en quelle année ? 

En tout cas aujourd'hui SGP marche vraiment tres bien, et pour un prix vraiment raisonnable comparé a ce qui peut etre proposé par ailleurs

 

[Psynergie]

Le 01/07/2021 à 17:53, olivdeso a dit :

 

ça se loue ?  ça pourrait peut être...

 

 

Oui. Le bureau à distance windows dégrade nettement moins à condition d'utiliser exactement les mêmes paramètres de résolution d'écran, couleur, etc.

 

Mais je pense que la solution est de faire le prétraitement sur la machine distante et de rapatrier l'image sur le PC local pour le traitement

 

 

c'est normal que ça rame : outre les 16Go de ram qui sont une limitation, le processeur 7600U est une version low power avec seulement 2 cores physiques. Tu prends n'importe quel Ryzen à 8 coeurs, ça ira 4 fois plus vite au moins. Tu passe à 32Go de ram, là c'est plutôt un facteur x10 à mon avis si tu as 20Mpixels environ

 

Oui, c'est mon hypothèse. Mais je vais d'abord tester la version en cloud. J'ai pris du temps aujourd'hui. J'ai été capable de créer une machin virtuelle 8 coeurs 64GB sur Azure de Microsoft. Ca divise le temps par 2-3x... J'attends de pouvoir augmenter les quotas pour tester une machine 64 proc 512GB RAM + SSD rapide pour les Swap. Si ça fonctionne, ce serait une excellente pratique au moins pour le pré-tt... Ensuite, pour le post, on verra si c'est pertinent.

Il y a 15 heures, Malik a dit :

 

c'etait en quelle année ? 

En tout cas aujourd'hui SGP marche vraiment tres bien, et pour un prix vraiment raisonnable comparé a ce qui peut etre proposé par ailleurs

 

 

Décembre 2020... J'ai juste conservé deux ou trois notes, mais par ex. "Format des noms pas enregistrés dans Sequence Generator Options. %t\%dt\%t_%ft_%cg_%co_%fe_%03_%dt_%tm"... Et surtout, des caméras pas reconnues...

[Psynergie]

Voici le bilan de mon test sur Virtual Machine.

 

210703 - Evaluation finale - Virtual Machines WorkStations.pdf

Modifié 3 juillet 2021 par Psynergie

[Alhajoth]

Manifestement, tu n'as pas connaissance d'OVH Cloud, pourtant français.

[Psynergie]

il y a 8 minutes, Alhajoth a dit :

Manifestement, tu n'as pas connaissance d'OVH Cloud, pourtant français.

 

En effet... J'avoue n'avoir cherché que des providers en Suisse. Mais il y a une semaine, je ne savais même pas que ça existe... Donc, je progresse ;-).

Je vais aller voir OVH par curiosité. Merci de l'info. Cordialement. Christian

[Psynergie]

il y a 47 minutes, Alhajoth a dit :

Manifestement, tu n'as pas connaissance d'OVH Cloud, pourtant français.

 

Bon. Le tarif horaire à l'air vraiment modeste. Mais a part un 2-cores et 16GB de RAM, pour l'instant, pas de quota suffisants. J'ai demandé. On va voir la suite.

[Malik]

pas la peine de te justifier 

t’achète tes trucs ou tu veux ☺️
et d’autant plus en suisse... vu que t’es suisse 

 

assez agaçant, au passage, la morale du bon et du mauvais acheteur...

[Alhajoth]

il y a 4 minutes, Malik a dit :

assez agaçant, au passage, la morale du bon et du mauvais acheteur...

 

Où as-tu vu ça ?

[Psynergie]

Il y a 15 heures, Malik a dit :

pas la peine de te justifier 

t’achète tes trucs ou tu veux ☺️
et d’autant plus en suisse... vu que t’es suisse 

 

assez agaçant, au passage, la morale du bon et du mauvais acheteur...

 

En fait, j'adhère à l'idée d'acheter local... Les circuits courts. D'où probablement ma remarque sur le fait que je n'ai pas cherché plus loin, qui reflète un peu de culpabilité à me jeter dans les bras des GAFAM... Mais vu que de toute façon, je ne peux plus écrire un mail sans passer par eux (professionnellement, les entreprises sont tout de même beaucoup sur Windows... En tout cas mon employeur, c'est tout sur MS et AZURE), c'est correct. En plus, les serveurs AZURE semblent être en Hollande... Le Google natif me parle en néerlandais... Et maintenant que tous les GAFAM's du monde vont payer 15% de taxes ça fait un dilemme éthique de moins à gérer.

Par contre, le tarif de OVH pourrait être pas mal plus intéressant. Donc, à explorer tout de même... J'attends leur retour pour faire des tests.

Mais au final, c'est bien souvent le tarif qui fait la différence. J'ai pas acheté des caméras suisses... Elles sont chinoises. Et je ne suis pas sûr que quelqu'un d'autre à ce jour sache produire des circuits de ce niveau en Europe. Donc, on est pris avec la mondialisation. Sans faire de la morale, je trouve néanmoins assez sain que nous nous posions la question. Je crois que c'est sur AstroBin que j'ai lu un sujet autour de l'éthique consistant à mettre en ligne des images traitées en IA. Je ne sais pas ce qui est juste ou faux, mais vu le bordel ambiant, j'aime mieux que l'on se pose trop de questions que pas assez. Merci de vos commentaires et bon dimanche. Je vais faire mes tests WBPP sur le serveur...

 

[Psynergie]

Rebonjour,

 

Afin de boucler la boucle, voici une synthèse finale de mes essais avec les machines virtuelles (VM) Azure.

 

Premièrement, je ne suis pas parvenu à configurer seul ma machine. Si l'on ne paie pas 30 euros par mois pour l'abonnement avec soutien technique 24/7, c'est compliqué. Or, je veux limiter mes frais fixes afin de ne payer que quand j'utilise la VM. Mais Microsoft nous propose d'utiliser UpWork pour engager des techniciens pigistes. J'ai donc fait ça et ça a très bien fonctionné.

 

Deuxièmement, ma configuration actuelle est une VM de 64 cœurs avec 512GB de RAM et 100GB de disque SSD partagé permanent. Depuis mon PC personnel, je transfert tranquillement mes bruts vers le disque partagé avant de faire le traitement sur la VM. Ma première utilisation a été le traitement dans PixInsight (WBPP 2.1) de mes près de 1000 fichiers (Flats, Darks, Lights, etc. récoltés sur 6 sessions distinctes) pour créer l'image qui se trouve ici: https://astrob.in/uzh5nk/F/ . La machine a mis environ 30 minutes pour le traitement complet. Ensuite, j'ai tranquillement récupéré mes Masters depuis mon disque partagé.

 

La seconde utilisation a été une utilisation intensive de la Déconvolution dans PixInsight. Je ne comprenais pas bien à quoi servent les nombreuses options. Or, en un peu plus de 2 heures, j'ai pu faire plein d'essais en augmentant les itérations au-delà de 100, en modifiant les paramètres divers, etc. J'utilise le screenshot de Windows pour documenter mes essais.

 

Pour terminer, le coût de location mensuel des 100GB de SDD permanents est de CHF 0.78.- (soit environ 25 euros/mois) + CHF 7.68.- par heure de VM. Vu que je ne l'utilise que pour des jobs très demandant en mémoire et CPU (le reste se fait sur mon portable personnel), ça reste financièrement très raisonnable.

 

Voilà. Je vais donc renoncer à acheter une grosse machine et faire mes intégrations et autres jobs complexes directement sur la VM de Azure.  Merci de votre collaboration à la réflexion.

 

Bon ciel à toutes et tous.

Christian

 

[philou31]

Merci pour ce retour très intéressant.