-
Notifications
You must be signed in to change notification settings - Fork 0
Commit
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
- Loading branch information
1 parent
8efba90
commit d7c9cb6
Showing
4 changed files
with
64 additions
and
0 deletions.
There are no files selected for viewing
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -0,0 +1,64 @@ | ||
# SageMaker를 활용한 머신러닝 상품화 | ||
|
||
## ToC | ||
|
||
- [SageMaker란?](#sagemaker란) | ||
- [Data Scientist가 쓸 수 있는 SageMaker 기능](#data-scientist가-쓸-수-있는-sagemaker-기능) | ||
- [ML Engineer가 쓸 수 있는 SageMaker 기능](#ml-engineer가-쓸-수-있는-sagemaker-기능) | ||
- [SageMaker의 제공 기능](#sagemaker의-제공-기능) | ||
- [그래서 어떻게 AWS SageMaker로 pipeline을 구성하면 되냐면,](#그래서-어떻게-aws-sagemaker로-pipeline을-구성하면-되냐면) | ||
- [SageMaker 구성 요소](#sagemaker-구성-요소) | ||
- [SageMaker를 강력하게 만들어주는 SageMaker와 AWS 서비스들의 통합](#sagemaker를-강력하게-만들어주는-sagemaker와-aws-서비스들의-통합) | ||
- [Amazon SageMaker 실습](#amazon-sagemaker-실습) | ||
|
||
## SageMaker란? | ||
|
||
- AWS에서 제공하는 Full managed Machine Learning Service | ||
- ML 모델의 개발, 훈련, 배포를 단순화하고 자동화하는 도구를 제공하여 개발자와 데이터 과학자들이 Machine Learning 어플리케이션을 쉽게 구축할 수 있도록 도와줌 | ||
|
||
## Data Scientist가 쓸 수 있는 SageMaker 기능 | ||
|
||
![untitled](./img/sagemaker-data-scientist.jpeg) | ||
|
||
## ML Engineer가 쓸 수 있는 SageMaker 기능 | ||
|
||
![untitled](./img/sagemaker-ml-engineer.jpeg) | ||
|
||
## SageMaker의 제공 기능 | ||
|
||
- 데이터 준비: 데이터 수집, 데이터 탐색 및 분석, Feature Engineering | ||
- 빌드, 학습 및 배포: 머신러닝 모델을 빌드, 학습 및 배포할 수 있는 다양한 도구를 제공. SageMaker Notebook을 사용하여 모델 학습을 위한 커스텀 환경을 구축하거나, SageMaker Training을 사용하여 분산 학습을 실행 | ||
- 자동화된 MLOps: 자동화하기 위한 다양한 기능을 제공. SageMaker Pipelines를 사용하여 자동화된 모델 빌드, 학습 및 배포 파이프라인을 생성. SageMaker Model Monitor를 사용하여 모델의 성능과 예측을 모니터링. SageMaker Debugger를 사용하여 모델 디버깅을 자동화하고, SageMaker Experiments를 사용하여 모델 실험을 관리 | ||
- 강력한 보안 및 규정 준수: 머신러닝 모델에 대한 강력한 보안 기능을 제공. 데이터 암호화, 모델 암호화, 모델 릴리즈 승인 프로세스, 모델 로깅 및 감시 추적 기능 등을 제공 | ||
|
||
### 그래서 어떻게 AWS SageMaker로 pipeline을 구성하면 되냐면, | ||
|
||
![untitled](./img/sagemaker-pipeline.jpeg) | ||
|
||
## SageMaker 구성 요소 | ||
|
||
- **Data Preparation**: Amazon S3, Amazon DynamoDB, Amazon RDS, Aurora 등과 같은 다양한 데이터 저장소를 통해 데이터를 저장하고 검색할 수 있음 | ||
- **Notebook Instance**: Machine Learning 모델 개발 및 실험을 위해 Jupyter Notebook Instance를 생성할 수 있음 | ||
- **Training Instance**: GPU, CPU, CPU-GPU 혼합 등의 다양한 Instance를 지원하여 높은 처리 속도로 Machine Learning 모델을 학습할 수 있음 | ||
- **Deploy Instance**: 학습된 모델을 배포하고 각종 이미지 파일 형식으로 저장할 수 있음 | ||
- **Endpoint**: Machine Learning 모델의 실시간 추론 instance로 외부 요청을 받아 실시간으로 응답을 제공 | ||
|
||
## SageMaker를 강력하게 만들어주는 SageMaker와 AWS 서비스들의 통합 | ||
|
||
- **AWS Lambda** | ||
- ex. 외부 Rest API를 Lambda로 날려서, 이와 연동된 sagemaker의 workflow management를 할 수 있다. | ||
- **AWS Glue** | ||
- **AWS Step Functions** | ||
- ex. CICD를 구체화할 수 있다. | ||
- **AWS IoT** | ||
|
||
## Amazon SageMaker 실습 | ||
|
||
- Free Account 신청 및 환경 설정 | ||
- Data Labeling, EDA, Feature Engineering | ||
- Model Training | ||
- Hyper Parameter Tuning | ||
- Model Bias Detection | ||
- ML Pipeline | ||
- ML Monitoring | ||
- Trigger based Model Training |
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
d7c9cb6
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
MODEL METRICS
Training variance explained: 33.0%
Test variance explained: 32.0%
Data viz