Intel Korea AI Technical Workshop 2021 리뷰

<1> SGX 를 이용한 인공지능 데이터 보안 솔루션

PPML : privacy preserving machine learning

- 프로그램과 데이터를 포함한 개인정보 보호, 어떻게 하면 효율성을 증가시킬까를 목표로 함

- AI, security, Big data

federated learning

--> 어떻게 데이터가 보호되는지 - 분산 머신러닝과 security 가 접목되었다고 보면 됨

- 데이터를 각 장치들의 내부에 저장하고 모델을 서로 공유하는 방법이 federated learning

- A, B 라는 기계가 있고 서로 다른 데이터와 모델을 가지고 있을 때, 이 때 weight 값을 다른 서버 C 로 전달. 서버 C에서는 encrypted 된 정보를 업데이트함.

- 모델에 대한 loss 와 gradient 값 계산하여 모델을 업데이트. 업데이트된 모델을 합쳐서 최종 모델을 구성하게 됨.

- A, B 의 직접적인 데이터가 전달되는 것이 아니라 중간 정보만 전달되고 각 원래 정보는 암호화되어 보호됨. 

ex) 핸드폰 AI 모델 : 사진에 포함된 개개인의 얼굴은 각 로컬 머신에 보관되어야 하고 유포되지 않아야함.

많은 데이터셋 확보를 위한 다양한 장치로부터 더 많은 업데이트된 모델 정보를 받는 aggregated server 필요.

각 장치들은 encryption 하고 서버에 전달해야함. 서버에서는 그 데이터에 대해 주의 깊게 처리해야함.
--> PPML 이 이 과정에서 필요

- PPML 구현 위해 프라이버시 컴퓨팅이 가능한 하드웨어- 제온 프로세서. TEE. MPC. HE 등 privacy를 위한 기술이 필요함

 

PPML 구현 위한 인텔 기능인 SGX

--> 인텔 SGX 는 하드웨어 기반 메모리 암호화 제공해주는 기술.

- 일부를 EPC 영역으로 할당하고, 그 영역에서 동작하는 어플리케이션 enclave.

- 제온에서 스큐별로 다양한것 가능

- trusted 에서는 enclave. - 보호된 영역에서 동작. OS, VMM, BIOS, SMM 등 특수권한 갖고 있는 것도 접근 못함

- SGX 는 보호된 곳에서 보장하니까 보안 강화

 

SGX 사용위해 어떤 하드웨어/소프트웨어 필요?

- SGX 필요성 증가되고 있음. 새로운 세대 XEON processor 나올 때마다 SGX 발전되고 있음.

- 2018 처음 SGX 인텔 제온 - 128MB. 현재 3세대 제온 - 소켓당 512GB EPC 지원.

- 더 많은 엔클레이브 실행하여 더 많은 정보 보안 가능

-- SGX 는 lib OS 지원하니 더쉽게 개발 가능

 

<2> oneAPI 인공지능 분석 툴킷

OneAPI - One Programming Model for Multiple Architectures & Vendors

1) Freedom to make your best choice

- CPU 에서 프로그램 할 때 CPU 전용 c, c++ 등 전용 language, GPU는 다른 language

- 다른 하드웨어로 옮겨갈 때 많은 시간과 비용

- OneAPI 에서는 CPU, GPU 등 여러가지 동시 지원. 개발 시간 노력 아낄 수 있음

2) Performance

- 성능이 좋음

3) 개방성

- 오픈소스로 개발시작. 인텔에서만 배포하는 것이 아니라 여러 개발자들이 오픈소스에 직접 contribution 해서 본인이 원하는 device 에 porting 하여 사용할 수 있음

 

- oneAPI 배포 툴킷에는 - AI analytics toolkit, OneAPI base tooolkit 등등

- OpenVINO 툴킷은 AI 관련 workload, model 들을 edge 에서 inferencing. (edge - 클라우드.서버로 전송안하고 분산처리능력 모바일 컴퓨팅...실시간 바로바로 ..)

- OneAPI Base Toolkit : Direct Programming, API-Based Programming, Analysis & Debug Tools

- AI Software Stack 

--> DL/ML Tools + DL/ML Middleware & Frameworks + Libraries & Compiler

 

인텔 이용 성능 benefit

--> 추천 알고리즘 - 인텔 제공 BF16 precision 이용한 경우 FP16/32 이용경우보다 최대 1.4배 성능 향상

- RESNET 의 경우에도 BF16 이용했을 때 1.6배 성능향상

--> ML Performance with Intel-optimized scikit-learn. : python 에 있는 인텔 옵티마이즈된 scikit-learn. 

- 인텔 제공 파이썬 사용하더라도 파이썬 코드 체인지 필요없이 import library 만 필요함

- from sklearn.svm import svc 대신.. import daal4py as d4p

- 인텔에서 제공하는 인텔 oneAPI AI 툴킷 혜택 : 성능, end-to-end 모든 end-to-end workflow 최적화 단계에서 가능. 생산성 향상

 

<3> 인텔 Sonoma Creek 인공지능 자동화 툴킷

- 데이터라벨링- active 빠른 annotating

- 딥러닝모델 최적화, edge를 위한 task 등등

-> AI 환경에 대한 솔루션 - 인텔은 Sonoma Creek 이라는 솔루션

- 개별적인 edge 에서 클릭만으로 배포 가능. 트레이닝 빠름. 등등의 장점. 가볍고 빠르고.. 딥러닝/머신러닝 개발분야에 있어서 전문가 아니더라도 손쉽게 사용 가능