[Hardware] CPU, GPU, TPU 간단 비교

ALU(산술논리연산장치)란?

• 산술연산을 진행하는 장치입니다.
• 딥러닝 알고리즘은 본질적으로, 많은 양의 단순 사칙연산(행렬 곱셈 등)을 수행합니다.
• 단순 사칙연산은 병렬화가 가능하기 때문에,
• ALU 가 많다면, 단순 사칙연산을 병렬화함으로써, 딥러닝을 보다 효율적으로 최적화 할 수 있습니다.

CPU

• ‘Central Processing Unit’의 약자이며, 컴퓨터의 모든 연산과 작업을 처리하는 장치입니다.
• CPU 의 ALU 는 1개입니다.
  • CPU 에는 제어장치(CU)가 존재하는 대신, ALU 가 1개 뿐입니다.
  • 따라서, 단순 사칙연산 속도가, GPU 에 비해 안 좋습니다.
  • 하지만, 복잡한 연산에는 용이합니다.

GPU

• 이전에는 그래픽 카드의 핵심부품으로 알려져있었으며,
• 3D 그래픽의 다양한 효과(입체감, 광원 등)를 CPU 혼자서는 처리하기 힘들기 때문에, 그래픽 연산 처리를 위해 개발되었습니다.
• 하지만, 현재는 딥 러닝 영역에서 컴퓨팅 워크로드를 가속화하기 위해, 보다 광범위하게 활용되고 있습니다.
• GPU 의 ALU 는 약 2500개입니다.
  • ALU 의 개수가 CPU 보다 많기 때문에, CPU 에 비해 단순 사칙연산 속도가 빠릅니다.

TPU

• 'Tensor Processing Unit' 의 약자이며, Google 이 자체적으로 개발한 칩입니다.
• Google 의 오픈 소스 머신 러닝 프레임워크인 TensorFlow 에 최적화 되어있는, 맞춤형 집적 회로입니다.
• TPU 의 ALU 는 약 3만개입니다.
  • TPU 는 벡터 / 행렬연산에 용이하도록, ALU 의 위치별 용도가 미리 설계되어있습니다.
  • 따라서, TPU 는 GPU 에 비해 특정 환경에서 훨씬 많은 연산력을 자랑합니다.

참고

• https://gy14374.tistory.com/7
• https://cheol2941.tistory.com/6