AWS, 대규모 모델 2배속 학습 지원…'세이지메이커' 신기능 대거 공개

데이터 랭글러로 전처리·속성가공 자동화

클래리파이로 통계적 편향 식별·설명·시각화

딥 프로파일링으로 모델 학습 중 병목 찾아

아마존웹서비스(AWS)가 데이터 병렬화(parallelism) 기법으로 대규모 모델 '2배속 학습'을 지원한다. 클라우드 기반 관리형 머신러닝 모델 제작·배포 서비스 '아마존 세이지메이커'에 추가된 주요 신기능 가운데 하나다.

AWS는 10일 AWS리인벤트 행사에서 여러 아마존 세이지메이커 신기능을 소개하고 개발자들이 머신러닝 작업흐름의 모든 단계를 더 쉽게 자동화하고 확장할 수 있게 지원한다고 밝혔다.

첫째 신기능은 '데이터 랭글러'다. 머신러닝 모델 학습용 데이터는 서로 출처와 형식을 달리 하기 때문에 시간이 많이 드는 전처리 작업을 요한다. 또 어떤 모델은 학습을 위해 데이터의 피처(feature) 엔지니어링이라 불리는 가공 작업이 필요할 수 있다. 데이터 랭글러는 전처리와 피처 엔지니어링 프로세스를 단순화해 준다. 데이터 변환기를 내장에 코드를 사용하지 않아도 피처를 전처리, 변환, 결합할 수 있다. 가공된 속성 결과물을 재사용할 수 있는 '피처 스토어'가 제공된다.

둘째 신기능은 지속통합·지속배포(CI/CD) 프로세스를 머신러닝 작업에 적용한 작업흐름 관리 도구 '파이프라인'이다. 아마존 세이지메이커에 데이터 적재, 데이터 랭글러의 변환, 피처 스토어에 저장된 피처와 학습 구성 및 알고리즘 설정, 디버깅, 최적화 등을 포함한 작업 전반을 세이지메이커 스튜디오에서 재실행할 수 있고 새 데이터로 같은 설정과 작업흐름을 정기 재실행해 모델 업데이트를 할 수 있다. 머신러닝 모델 제작 반복과 학습 파라미터 결과 시각화 비교가 쉬워진다.

셋째 신기능은 편향 감지 및 설명 명확화를 돕는 '클래리파이'다. 머신러닝 작업흐름 간 통계적 편향을 감지하고 모델이 생성하는 예측에 대한 설명을 제공할 수 있게 해준다. 편향의 출처와 심각도에 대한 설명을 포함한 시각화로 데이터 준비 단계 편향을 식별하기 위해 일련의 알고리즘을 실행하는 세이지메이커 데이터 랭글러와 연계된다. 또 클래리파이는 모델 품질을 지속 모니터링하는 '모델 모니터'와 연계해 모델이 행동 변화를 일으키면 개발자에게 경고한다.

넷째 신기능은 모델 학습 프로파일러 '딥 프로파일링 포 아마존 세이지메이커 디버거'다. 학습 과정간 병목을 식별하고 해결할 수 있는 시스템 자원 모니터링 수단이다. 아마존 세이지메이커 스튜디오 또는 AWS 클라우드워치를 통해 학습 도중 문제에 대해 경고를 띄워 준다. 딥 프로파일링은 학습 스크립트 코드 변경 없이 필요한 시스템 및 학습 측정값을 자동 수집해 개발자가 학습 간 시스템 자원이 어떻게 쓰였는지 시각화할 수 있게 해준다.

다섯째 신기능은 2배속 학습을 지원하는 '디스트리뷰티드 트레이닝 온 아마존 세이지메이커'다. 점점 더 큰 데이터셋과 GPU 메모리를 요구하는 딥러닝 모델을 현재 방식 대비 최대 2배 빠르게 학습시킬 수 있게 한다. 여러 GPU로 모델을 분할하는 부담 없이 아마존 세이지메이커 데이터 병렬화 엔진을 이용해 여러 GPU간 데이터를 자동 분할하고 학습시간을 최대 40% 단축해 준다. 병렬화 엔진이 최적 모델 분할 방법을 자동으로 파악하고 GPU간 통신을 최소화한다.

여섯째 신기능은 엣지 디바이스용 모델 관리 도구 '에지 매니저'다. 에지 매니저는 여러 에지 디바이스에 배포된 머신러닝 모델을 준비, 실행, 모니터링, 업데이트할 수 있다. 아마존 세이지메이커 콘솔에서 배포된 모델 작동을 추적하고 시각화하는 대시보드 기능을 제공한다. 엣지 디바이스에서 데이터 샘플링 분석을 위해 아마존 세이지메이커 모델 모니터로 전송하는 등 정확도가 떨어진 모델을 재학습시켜 품질을 지속 개선할 수 있게 해준다.

일곱째 신기능은 조직의 최초 머신러닝 도입 시작 단계를 지원하는 '아마존 세이지메이커 점프스타트'다. 이는 개발자가 머신러닝 솔루션, 알고리즘, 샘플 노트북을 쉽게 찾을 수 있는 인터페이스를 제공한다. 초보 머신러닝 개발자들에게 완전한 엔드투엔드 머신러닝 솔루션 몇 가지를 선택해 직접 아마존 세이지메이커 스튜디오 환경에 배포할 수 있게 해준다. 숙련된 사용자들에게는 100개 이상의 머신러닝 모델 중 원하는 것을 선택해 모델 제작과 학습을 빠르게 시작하도록 돕는다.

스와미 시바수브라마니안 AWS 아마존 머신러닝 부사장은 "오늘 발표한 일련의 아마존 세이지메이커 툴은 개발자가 더 나은 가시성, 설명 가능성 및 자동화를 대규모로 구현하는 맞춤형 머신러닝 모델을 준비, 제작, 학습, 설명, 검사, 모니터링, 디버그 및 실행하기 위한 엔드투엔드 머신러닝 파이프라인을 더 쉽게 구축할 수 있도록 지원한다"고 말했다.
 

스와미 시바수브라마니안 AWS 아마존 머신러닝 부사장. [사진=아마존웹서비스 제공]