hardware-optimizer

What problem does it solve?

이 스킬은 8GB RAM Mac 환경에서 대용량 데이터 처리의 성능 저하와 메모리 관리 이슈를 해결합니다. 최소 하드웨어로도 데이터 파이프라인을 원활히 실행하도록 최적화된 지침을 제공합니다.

Core Features & Use Cases

• 고성능 데이터 엔진 구성: Polars 와 DuckDB의 조합으로 데이터 로딩과 변환 속도를 대폭 향상시킵니다.
• 메모리 관리 최적화: 메모리 매핑과 제로 복사 로딩으로 RAM 사용을 최소화합니다.
• 가속화 기술 활용: Mac의 GPU(MPS) 및 효율적 병렬 처리로 대용량 데이터 작업을 빠르게 수행합니다.
• Use Case: 8GB RAM Mac에서 로그 파일을 실시간으로 집계하고 요약하는 파이프라인을 구축하는 사례를 제시합니다.

Quick Start

• 예시 1: 대용량 CSV/Parquet 데이터를 로드하고 Polars+DuckDB 파이프라인으로 처리하도록 환경을 설정합니다.
• 예시 2: Mac 8GB RAM에서 메모리 매핑과 제로 카피 로딩을 활용한 데이터 변환을 실행합니다.
• 예시 명령: python -m hardware_optimizer.examples.run_mac8gb --config config.yaml