[꿀팁] TorchServe 사용하기

[JAEWOOSUN]

TorchServe 사용하기

Description: TorchServe를 사용해 모델 Serving
시작일: 2021년 4월 30일
실험자: 재우 선
제안자: 재우 선
종료일: 2021년 5월 2일
진행상황: 완료
카테고리: Deploying

문제 정의 (왜 하는지?)

• PyTorch 모델을 Serving하기 위해

---

해결 아이디어

• Docker 사용하기

하나의 서버에 하나의 모델만 서빙하기 때문에.. 또한 AWS 프리티어로 사양이..

• Kubernetes 사용하기

사양문제..

• Tensorflow serving / Onnx Serving

Pytorch를 사용하기 때문에 모델을 변경해야하는 부분들이 필요

• TorchServing

비교적 최근에 나온 모듈로 pytorch를 손쉽게 서비할 수 있음

---

진행 상황

1) AWS 서버

• Ubuntu 18.04 버전
• t2.micro ( CPU 1, RAM 1Gib )

2) TorchServe 설치

• 설치 주소

pytorch/serve

• TorchServe Architecture

출처 : https://github.com/pytorch/serve

---

• 설치방법
  1. Conda (linux version), Python 3.8 설치가 되어있어야함
  2. Git Clone 하기

git clone https://github.com/pytorch/serve.git

3. Dependencies 설치하기

출처 : https://github.com/pytorch/serve

4. Install torchserve and torch-model-archiver

출처 : https://github.com/pytorch/serve

3) TorchServe 사용하기

TorchServe를 사용하기 위해서는 torch-model-archiever을 통해 mar 파일로 만들어주어야 함.

Torchserve 공식 git에서는 pre-trained 된 densenet을 사용해서 만들어줌

1. Create a directory to store your models.

mkdir model_store

2. Download a trained model.

densenet161.pth 파일을 불러옴

wget https://download.pytorch.org/models/densenet161-8d451a50.pth

3. torch-model-archiver 사용

• —model-name : 저장할 model name
• —model-file : 사용될 model 구조 (Python Class 형태)
• —serialized-file : pth,bin 파일 등 저장된 model 값
• —export-path : mar 파일이 저장될 폴더 위치
• —extra-files : label json 파일 등 모델이 inference할 때 사용될 파일들
  dst에서 Ontology 파일 등을 여기에 넣은 후, handler에서 불러와서 사용
• —handler : inference를 할 때 preprocess, inference 코드 등을 작성

torch-model-archiver --model-name densenet161 --version 1.0 --model-file ./serve/examples/image_classifier/densenet_161/model.py --serialized-file densenet161-8d451a50.pth --export-path model_store --extra-files ./serve/examples/image_classifier/index_to_name.json --handler image_classifier

4. 실행

mar파일을 불러와서 사용

torchserve --start --ncs --model-store model_store --models densenet161.mar

4. Inference 날리기

Inference를 날릴 때는 REST API를 사용해서 json 파일 형태로 추론이 가능함.

1. 귀여운 고양이😾 사진을 다운로드

curl -O https://raw.githubusercontent.com/pytorch/serve/master/docs/images/kitten_small.jpg

2. 아래 명령어를 통해 inference를 날릴 수 있음

현재는 Localhost(127.0.0.1)를 사용해 날리지만, AWS elastic IP, port를 사용해서 실제 IP로 Inference를 날릴 수 있음

curl http://127.0.0.1:8080/predictions/densenet161 -T kitten_small.jpg

3. 결과는 JSON 형태로 출력됨.

Handler 수정을 통해 Response를 수정할 수 있음.

[
  {
    "tiger_cat": 0.46933549642562866
  },
  {
    "tabby": 0.4633878469467163
  },
  {
    "Egyptian_cat": 0.06456148624420166
  },
  {
    "lynx": 0.0012828214094042778
  },
  {
    "plastic_bag": 0.00023323034110944718
  }
]

결과

1. torchserve로 Server Start

torchserve --start --ncs --model-store model_store --models densenet161.mar

아래와 같이 모델 server가 실행된 것을 볼 수 있음.

2. Inference 날리기

3. torchserve 종료

torchserve --stop

평가

• Handler를 수정해서 trade 모델을 serving하고 Inference가 가능함
• Pytorch model을 변환 없이 쉽게 serving할 수 있음
• Docker나 Kubernetes도 torchserve에서 지원

Reference

• torchserve 공식 git

https://github.com/pytorch/serve

• Huggingface BERT 모델 serving

https://littlefoxdiary.tistory.com/37

https://medium.com/analytics-vidhya/deploy-huggingface-s-bert-to-production-with-pytorch-serve-27b068026d18

• Handler 수정과 —extra-files 추가

https://byeongjokim.github.io/posts/MLOps-Toy-Project-5/