needhelp
← Back to blog

Huawei Ascend에서 DeepSeek V4: 자국산 하드웨어에서 Frontier AI 실행 실전 가이드

by needhelp
deepseek
huawei-ascend
ai-deployment
domestic-ai

DeepSeek V4 프리뷰의 출시는 AI 하드웨어 지형에서 중요한 변화를 표시한다. 사상 처음으로 프론티어급 모델이 Huawei Ascend NPU를 일급 지원한다 — 단 하나의 NVIDIA GPU 없이도 경쟁력 있는 AI 추론을 실행할 수 있다.

GPU 가용성에 제약을 받아온 중국 개발자, 연구 기관, 기업에게 큰 의미가 있다. 무엇을 의미하고 어떻게 시작하는지 살펴보자.

하드웨어 지형

사양 Ascend 910B NVIDIA A100
연산 (FP16) 320 TFLOPS 312 TFLOPS
메모리 64GB HBM2e 80GB HBM2e
메모리 대역폭 1.5 TB/s 2.0 TB/s
상호 연결 HCCS 56GB/s NVLink 600GB/s
TDP 310W 400W
가용성 높음 (국내) 제한적

숫자가 흥미로운 이야기를 말한다. 원시 연산은 비슷하다 — 910B는 실제로 FP16 TFLOPS에서 앞선다. 격차는 메모리 대역폭과 상호 연결에 있으며, 이는 대규모 배치 추론과 멀티카드 스케일링에 영향을 미친다. 하지만 단일 카드 추론과 소규모 배치 서빙에서는 격차가 빠르게 좁혀지고 있다.

배포 가이드

사전 요구사항

Terminal window
# 시스템 요구사항
- OS: Ubuntu 22.04 / EulerOS
- Kernel: 5.10+
- NPU: Ascend 910B (최소 1 카드)
- 메모리: 64GB+ 시스템 RAM
- 디스크: 200GB+ 여유 공간

1단계: CANN 툴킷 설치

Terminal window
# Huawei 지원 사이트에서 CANN 다운로드
chmod +x Ascend-cann-toolkit_*.run
./Ascend-cann-toolkit_*.run --install --quiet


# 설치 확인
npu-smi info

2단계: Docker 환경 설정

Terminal window
docker pull deepseek-ai/deepseek-v4-ascend:latest


docker run --rm -it \
  --device=/dev/davinci0 \
  --device=/dev/davinci_manager \
  --device=/dev/hisi_hdc \
  -v /usr/local/Ascend:/usr/local/Ascend \
  -p 8000:8000 \
  deepseek-ai/deepseek-v4-ascend:latest

3단계: 추론 서버 시작

Terminal window
# 컨테이너 내부
python -m vllm.entrypoints.openai.api_server \
  --model /models/deepseek-v4-preview \
  --trust-remote-code \
  --dtype bfloat16 \
  --max-model-len 4096 \
  --gpu-memory-utilization 0.9

성능 관찰

모델 하드웨어 Tokens/s 메모리 비고
V4 Preview (7B) 1× Ascend 910B ~45 t/s 14GB 빠름, 단일 카드에 적합
V4 Preview (14B) 1× Ascend 910B ~22 t/s 28GB 프로덕션 사용 가능
V4 Preview (70B) 4× Ascend 910B ~15 t/s 63GB 양자화 필요
V4 Preview (70B) 1× A100 80GB ~35 t/s 70GB 기준 참조

개발자를 위한 6가지 팁

  1. vLLM-Ascend 사용, 원시 CANN은 피할 것 — Ascend 백엔드가 있는 vLLM 커뮤니티 포크가 대부분의 최적화를 처리
  2. Flash Attention 활성화 — Ascend 구현(--enable-flash-attn)이 긴 시퀀스에서 1.5-2배 속도 향상
  3. 배치 크기 주시 — 메모리 대역폭이 병목; 소규모 배치(1-4)가 최상의 지연/처리량 균형
  4. BF16 사용, INT8은 주의 — INT8이 더 빠르지만 Ascend에서 품질 저하가 CUDA보다 더 두드러짐
  5. CANN 정기 업데이트 — 각 릴리스가 상당한 성능 향상
  6. 커뮤니티 참여 — GitHub와 중국 개발자 포럼의 Ascend AI 커뮤니티는 활발하고 도움이 됨

더 큰 그림

Ascend의 DeepSeek V4는 단순한 또 다른 배포 옵션이 아니다. 디커플링의 순간을 나타낸다 — AI 모델 개발과 AI 하드웨어 생태계 개발이 독립적으로 진행될 수 있게 됐다. 중국 개발자에게는 지리정치적 제약 없이 프론티어 AI에 접근할 수 있음을 의미한다. 글로벌 커뮤니티에게는 더 다양하고 탄력적인 하드웨어 생태계를 의미한다.

CUDA와의 격차는 아직 완전히 좁혀지지 않았다. 하지만 좁혀지고 있으며, 개선 속도는 가속화되고 있다.

References

Share this page