Wpis użytkownika redve w Hydepark

@ostrynacienkim - na Hejto społeczności nie za bardzo działają - możemy jedynie tagować #komputery czy #programowanie czy #it czy też #informatyka i liczyć, że każdy tak będzie tagował 🤷

@koszotorobur zgadzam sie, propnuje nowa komitywe utworzyc czy tez spolecznosc (jak nie ma ;D)

@ostrynacienkim - najważniejsze jest by brać udział w dyskusji a nie się z niej wycofywać bo ktoś coś tam już napisał - bo tu na Hejto nie ma za dużo technicznych osób - a jak są to się nie udzielają - a miło sobie tak na techniczne tematy podyskutować :smiley:

@koszotorobur a to tero rozumim, to jak cos tez moge pomoc nie ma problemu, ale skoro sie znacie to zostawie pola dla Ciebie skoro ogarniasz chmurke :smiley:

@ostrynacienkim - Hejto to jedyne miejsce gdzie pomagam za darmo - poza tym Op to dobry ziomeczek, dopiero na starcie swojej kariery - niech się więc zdrowo rozwija :grinning:
Poza tym sam musi też pokombinować co jest możliwe a co nie bo nawet nie wszystko wynika wprost z dokumentacji lub można przeoczyć. Niemniej jak to z AWSem... oferują wiele usług (i tylko coraz więcej), którymi można osiągnąć ten sam cel - tylko różnym kosztem - więc staram się naświetlić OPowi, że są w AWSie też inne opcje - ale czy tańsze dla jego zastosowania to już będzie musiał sprawić sam 😉

@koszotorobur ja sie nie wgryzalem w temat to nie moj projekt i nie ma fakturki na koniec 😉 Co do ASG i EC2 to mozna i uzyc spot instancji bedzie jeszcze taniej. Warm poole i snap starty tez spoczko (wdzie ze dodali w koncu pajtona), ino spap start:

SnapStart does not support provisioned concurrency, Amazon Elastic File System (Amazon EFS), or ephemeral storage greater than 512 MB.

a op pisal ze uzywa efs'a i wlasnie provisioned concurrency

edit: poza tym polecam to awsowe Q jest calkiem dobre jako wyszukiwarka w ich doksach bo do niczego innego sie nie nadaje 😛

@pierdonauta_kosmolony - AWS Lambda ma SnapStart: https://docs.aws.amazon.com/lambda/latest/dg/snapstart.html

@ostrynacienkim - zamiast Lambdy czy ECS można po prostu sobie ustawić prostą Auto Scaling Group, która uruchamia instancję tylko na czas wykonywania obliczeń.
Do tego jeśli OPowi zależy na krótkim czasie startu aplikacji to może sobie użyć Warm Pools: https://docs.aws.amazon.com/autoscaling/ec2/userguide/ec2-auto-scaling-warm-pools.html - ale to już kosztuje dodatkowe pieniążki.

@redve zmiesci jakk uzyjesz lambdy dokerowej - patrz zamieszczony link. Co do ECS... koniecc koncow to Twoj projekt, budzet, mozliwosci i ograniczenia, chcialem pomoc 😉

@ostrynacienkim libka i model są na EFS, bo lambda za chiny ich nie zmieści.
To co wrzuciłeś, wymaga dodatkowego bulenia za ECR. Ten cold start nie jest wcale aż takim problemem

@redve ta biblioteka jest gdzie? w layerze czy masz ja obok w kodzie lambdy? Tu masz przyklad od AWS. Generalnie polecam przy takich libkach uzywac lambdy z dockera - https://aws.amazon.com/blogs/machine-learning/using-container-images-to-run-pytorch-models-in-aws-lambda/ ale Twoj trop z provisioned concurrency jest w sumie ok

edit: a tak po prawdzie wsadzilbym to w jakis kontener na ECS ale koszty rosna bo API GW nie gada z ECS bezposrednio i potrzeba innych resorce'ow

Using container images to run PyTorch models in AWS Lambda | Amazon Web ServicesJuly 2024: This post was reviewed for accuracy. PyTorch is an open-source machine learning (ML) library widely used to develop neural networks and ML models. Those models are usually trained on multiple GPU instances to speed up training, resulting in expensive training time and model sizes up to a few gigabytes. After they’re trained, these […]Amazon Web Services

@redve
O kurła, jest coś takiego.
https://github.com/google/snappy-start

GitHub - google/snappy-start: Tool for launching a Linux process from a snapshotTool for launching a Linux process from a snapshot - google/snappy-startGitHub

@redve
Przydałoby się coś w stylu snapshotu pamięci, jak mają VM-y, tudzież jak działają zygoty procesów w Androidzie.
Może zamiast lambdy działającej i tak w kółko opłacalniejszy byłby kontener fargate?

@skorpion - wszytko już OPowi wyjaśniłem w swoich komentarzach - nawet taki lajkonik ja Ty zrozumie :stuck_out_tongue_winking_eye: