AWS Machine Learning Service (Rekognition, Transcribe, Polly, Translate, Lex & Connect, Comprehend, SageMaker, Forecast, Kendra, Personalize, Textract)

Rekognition

• 머신 러닝을 이용하여 사람, 텍스트, 이미지 혹은 동영상 장면을 인식한다.
• 안면 분석이나 안면 검색을 통해 사용자를 인증하거나 사람들의 수를 셀 수 있다. 
• >> 이를 이용하면 익숙한 얼굴에 대한 DB 를 생성하거나 유명인과 얼굴을 비교할 수 있다.
• 사용사례
  1. Labeling
  2. Content Moderation
  3. Text Detection
  4. 안면 감지 및 분석

 

Transcribe

• 음성을 텍스트로 자동 변환해준다. >> 오디오를 전달하면 자동으로 텍스트로 변환되어 작동한다.
• 자동 음성 인식 ASR 이라는 딥러닝 프로세스를 사용하여 음성을 텍스트로 매우 빠르고 정확하게 변환한다. 
• Redaction 을 사용하여, 개인 식별 정보 (PII) 를 자동으로 제거할 수 있는 기능 ex) 누군가의 나이, 이름, 주민등록번호가 있는 경우 그걸 자동으로 제거할 수 있다.
• 다국어 오디오에 대한 자동 언어 식별 기능도 사용할 수 있다. -> 똑똑하다
• 사용 사례
  1. 고객 서비스 통화를 받아쓰기 해서 자동으로 자막 만들기
  2. 미디어 자산에 대한 메타데이터를 생성하여, 검색 가능한 아카이브를 만드는 것
  
  

음성 -> 텍스트 (Transcribe)

 

 

Poly

• 딥러닝을 사용하여 텍스트를 음성으로 변환해준다. >>>>> Transcribe 와는 반대
• 이를 통해 대화하는 애플리케이션을 만들 수 있다. Polly 가 오디오를 생성하여 재생할 수 있다.
• AWS Polly 콘솔에서 사용할 수 있다.

텍스트 -> 음성 (Polly)

 

Translate

• 자연스럽고 정확한 번역을 제공한다.
• 콘텐츠를 현지화 할 수 있는데, 전 세계의 사용자들을 위해 웹사이트나 애플리케이션의 방대한 텍스트를 쉽고 효과적으로 번역할 수 있다.

 

 

Lex & Connect

• Amazon 의 Alexa (집에 둘 수 있는 작은 기기로, 내일의 날시를 물어보면 뭐 24도고 화창하겠다는 대답을 해준다.) 라는 기기에도 들어가는 기술이다.
• Lex 에서는 자동 음성 인식인 ASR 을 통해 음성을 텍스트로 변환해준다. 
• 자연어 이해 기능을 통해 텍스트나 발신자의 의도를 파악한다는 장점이 있다 -> 즉, 문장을 이해한다.
• 사용사례
  1. 챗봇
  2. 콜센터봇
• Connect 를 통해 콜센터를 구축한다. -> 가상 고객 센터로 전화를 받고 고객 응대 흐름을 생성하는 클라우드 기반
• Connect 는 선불 결제가 없으며, 다른 고객 관리 시스템과 통합 될 수 있다.
• 스마트 고객센터 구축하는 방법의 예시
  1. Amazon Connect 에 있는 전화번호에 약속을 정하려고 하는 전화가 왔다고 가정
  2. Connect 에 전화를 하면, Lex 는 해당 전화에 대한 모든 정보를 스트리밍 하여 전화통화의 의도를 파악하여 올바른 람다 함수를 호출한다.
  3. 이때 람다함수는 해당 사용자의 의도(내일 오후 3시에 a 와 미팅을 요청한 누군가가 있다고 가정) 를 전달받은뒤 해당 일정을 CRM 에 기록하는 코드를 작성한다.
• 즉, Lex 는 ASR 그리고 Connect 는 고객 센터를 위한 서비스

스마트 고객센터 예시

 

Comprehand

• 사물을 이해하는 것을 목적으로 하며, 자연어 처리(NLP) 를 목적으로 한다.
• 즉, NLP (Natural Language Processing) 이라는 자연어처리를 통한 완전 관리형 서버리스 서비스이다.
• 머신러닝을 이용하여, 텍스트에서 인사이트와 관계를 찾아낸다. ex.) 텍스트의 언어와 주요 문구 장소, 사람, 브랜드 등을 추출해 낼 수 있다.  
• 추가로 분석 중인 해당 텍스트가 긍정적인지 부정적인지 이해할 수 있도록 감정 분석을 수행할 수 있다.
• Comprehend 는 이렇게 읽어 들인 여러 데이터에 대하여 그 의미를 파악하는 역할을 한다. >> 덱스트나 비정형 데이터를 가지고 와서 자연어 처리를 통해 데이터를 정형화 한다.

 

SageMaker

• 완전 관리형 서비스로 지금까지 언급한 서비스들은 관리형 머신 러닝 서비스로 특수한 목적들을 갖고 있었다.
• 하지만 SageMaker는 고차원의 머신 러닝 서비스로 실제 개발자나 조직 내 데이터 사이언티스트가 이를 이용하여 머신 러닝 모델을 생성할 때 사용한다. -->>>> 훨씬 발전된 서비스이자 이용이 복잡하다.
• 사용방법
  1. 머신러닝에 사용할 데이터들을 수집하여 라벨링한다. >> 라벨링 즉, 어떤 열이 어디에 해당하는지 파악하는 것 예를들어 수강생의 시험에 대한 점수와, 해당 수강생이 어느정도의 경력의 수준인지 파악하여, 이렇게 수집한 데이터에 기초하여 점수를 예측할 수 있다. 이게 라벨링이다.
  2. 머신 러닝 모델을 구축한다. >>> 과거 제이터를 기반으로 점수를 예측하는 모델
  3. 모델을 구축하게 되면 이를 학습시키고 조정해야한다. 
  4. 이렇게 SageMaker 와 라벨링, 모델 구축, 학습 조정을 통한 모델을 개선하여 배포를 하여 실제 머신 러닝 모델을 적용하여 구축한다.

SageMaker 에시

 

 

Forecast

• 얘도 완전 관리형 서비스로 머신 러닝을 이용하여 아주 정확한 예측을 제공한다.
• 제품 수요 계획, 재무 계획, 리소스 계획 등 일반 관리형 서비스를 이용하면 몇 달에 걸리는 예측을 몇 시간만에 끝낼 수 있다.
• 사용 원리
  1. 과거 시계열 데이터를 불러온다.
  2. 모델을 개선할 수 있는 모든 데이터를 가져오도록하여, S3 에 업로드하고
  3. Forecast 서비스를 실행하여 예측 모델을 생성한다.
  4. Forecasting Model 을 통해 데이터에 대한 정보를 예측할 수 있다.
  
  

Forecast 예시

 

 

Kendra

• 완전 관리형 문서 검색 서비스로 문서 내에서 답변을 추출할 수 있도록 지원한다.
• S3, RDS, Google Drive, MS OneDrive 등 다양한 데이터 소스에서 문서들을 찾아볼 수 있으며, 이 문서들을 Kendra 가 인덱싱
  • 머신 러닝을 이용하여, 내부적으로 구축된 지식 인덱스를 통해서 인덱싱
  한다.
• 그렇게 되면, 최종 사용자는 구글처럼 자연어 검색 기능으로 사용할 수 있다.
• 즉, Kendra 는 검색 서비스!

 

Personalize

• 완전 머신 러닝 기반 서비스
• 실시간으로 맞춤형 추천하는 앱을 구축할 수 있다.
• 개인화 서비스에 입각하여 다음 구매 상품을 추천하는 방식
• Personalize에서 S3로 부터 입력 데이터를 읽어들인다. (사용자와 상호작용하는 데이터 같은 것들)
• Personalize API 를 사용하면, Personalize 서비스에 실시간 데이터를 통합할 수도 있다.
• 그럼 해당 개인화된 결과를 웹사이트, 모바일 애플리케이션, SMS, 이메일등 다양하게 갈 수 있다.
• 즉, Personalize 는 데이터를 기반으로 실시간 개인화에 맞는 추천을 제공해주는 서비스

Personalize 예시

Textract

• 텍스트를 추출한다. (텍스트, 손글씨 또는 스캔을 한 문서의 데이터를 추출한다.)
• Textract 에 업로드 하면, 자동으로 분석되어 결과가 데이터 파일로 제공된다. ex.) 운전면허증을 가지고 한다면, 생일, 이름 등을 추출하여 데이터 파일로 제공.
• 이를 통해 필요한 모든 데이터를 추출할 수 있다. 폼이나 테이블에서도 가능

Textract 예시

 

 

 

정리

• Rekognition : 얼굴 탐지, 라벨링, 유명인 인식
• Transcribe : 오디오틀 텍스트로 전환 (예시 : 자막)
• Polly : 텍스트를 오디오로 전환 (예시 : 번역)
• Lex : 챗봇과 같은 대화형 봇 구축 >> 이를 Connect 서비스와 묶으면 클라우드 고객 센터를 만들 수 있다.
• Comprehend : 자연어 처리
• SageMaker : 개발자나 데이터 사이언티스트를 위한 완전한 기능의 머신 러닝 서비스
• Forecast : 정확한 예측
• Kendra : 문서 검색 엔진
• Personalize : 고객을 위한 실시간 맞춤형 추천
• Textract : 텍스트와 데이터를 탐지하여 다양한 문서에서 이를 추출하는데 사용