우리 수령하였던 STM32MP157C DK2보드에는 인공지능 칩이라고 불리우는 VPU/NPU이 내장되어 있습니다. 

이전의 과거 보드에는 이 칩이 없고, DK2부터 내장이 되고 있습니다.  VPU/NPU 를 3D GPU라고도 부르고 있습니다. 

아마도 이 칩이 임베디드 분야에서 CPU, GPU를 거쳐 VPU/NPU/3D-GPU 라고 불릴울 대중적인 칩이 될 것은 자명합니다. 

즉, 게임을 하려면 우리가 GPU를 알아야 하듯이, AI 애플리케이션을 실행하려면 VPU/NPU/3D-GPU가 중요합니다. 

그후  DK2 보드를 좀더 살펴보았습니다. 

DK2 (STM32MP157C) 에만 오직 3D GPU가 지원되는 것을 볼수 있습니다. 

이것이 galcore.ko 와 관련이 있습니다. 즉 3D GPU라고 하는 것이 VPU (Vision Processing Unit)

또는 NPU (Neural Processing Unit)이라고도 불리는 것 같습니다. 

전체 동작구조를 정리해보면, DK2 보드에서 우리가 Hand-Written Alphabet을 손으로 그리면 3d GPU를 이용하여 딥러닝 연산을 하는 것으로 보입니다. 이때 user space는 묘종의 low-level 라이브러리가 있을거구요. 이것은 커널의 galcore.ko 모듈을 통해서 3D GPU (VPU/NPU)에 접근하여 연산을 하고 있는것 같습니다. 

동작구조 순서가 이렇게 된다고 봅니다. 

재미난 것은 DK2(STM32MP157c 보드 이전에는 3D GPU가 없었으니,  MCU (Corext-M4)를 통해서 딥러닝 관련 AI 앱을 dedicated되어 동작하는 구조로 설계 및실제 작동한것으로 보입니다. 그래서인지 DK2에 3D GPU가 장착이 되어 있으나, 이것을 이용하여 AI 앱을 동작시키는 방법들이나 관련 문서가 구글링을 하여도 거의 안보입니다. 아마도  ST MicroElectronics사에서 최근에 3D GPU (VPU/NPU)를 장착하기 때문에 열심히 관련 작업들을 준비중인게 아닌가? 싶습니다. 

P.S:

STM32MP157C DK2보드의 AI 에 대한 내용은 기존 글에 업데이트 하였습니다.

ST의 임베디드 기술 로드맵에서 보이는 것처럼 AI chip이 next step 입니다. 

힘닫는데까지 파헤친 정보들을 아래 주소에 계속 추가 및 업데이트 하여  미력하나마 DK2의 AI 기술 정보를 공유하겠습니다. 

다만, 혼자 짜투리 여유시간들을 활용해서  파헤치려니 시간이 많이 듭니다. ㅜㅜ

* Version History:

v0.1 (2020-04-26): STM32 Cube. AI  관련 자료 포스팅

v0.2 (2020-05-02): M4 기반 AI Character Recognition 자료 추가

v0.3 (2020-05-11): 딥러닝을 위해 동작하고 있는 galcore.ko 커널 모듈 내용 정보 추가

v0.4 (2020-05-13): STM에서 공식적으로 제공하고 있는 학습 동영상 사이트 추가

v0.5 (2020-05-19): VProfiler (Vivante Profiler)  사용 방법 내용 추가

v0.8 (2020-05-30): STM32MP157C (DK2)의 3D GPU (galcore.ko) 정보 추가 

감사합니다.