엔비디아라는 회사의 GPU V100은 5,120개의 CUDA Core와 640개의 Tensor Core, 합해서 5,760개의 코어를 가지고 있다. ‘코어’란 하나의 독립된 GPU라고 말할 수 있다. 그러니까 5,760개의 GPU를 병렬로 묶었다는 뜻이다. 역시 분산처리다. V100은 125테라플롭스TFLOPS 연산을 한다.
1테라플롭스는 1초에 1조 번 실수를 더하고 곱한다는 뜻이니 V100은 1초에 125조 번 실수 계산을 한다. 이런 GPU를 100대, 1,000대 병렬로 연결해 계산을 하는 게 현대의 AI다. - <눈 떠보니 선진국> 중에서
https://www.millie.co.kr/v3/bookDetail/179538512 - P174