시스템 및 운영

Linux 디스크 공간 부족 및 Inode 고갈 문제 해결 완벽 가이드: 안전한 정리, 로그 순환 및 고스트 파일 핸들 해제

한눈에 보기: 거의 모든 클라우드 운영 엔지니어가 긴급한 “No space left on device” 알림을 마주한 적이 있습니다. 일반적으로 20GB~40GB SSD 스토리지를 제공하는 BandwagonHost의 일반적인 보급형 KVM 플랜이나 10GB~40GB 초고속 NVMe 스토리지를 갖춘 DMIT의 보급형 클라우드 서버(PVM 플랜 등)와 같은 경량 프로덕션 환경에서는 디스크 용량 예산이 빠듯하게 책정되는 경우가 많습니다. 고가의 프리미엄 BGP/CN2 GIA 대역폭으로 인해 여유 스토리지 공간을 확보하기 어렵습니다. 로그가 확인 없이 증가하거나 캐시가 누적되거나,

VPSMap 편집팀 · 업데이트 2026-09-26 · 24분 분량 · 텍스트 버전

클라우드 서버를 관리하는 거의 모든 엔지니어는 No space left on device(No space left on device) 긴급 알림을 접해 본 적이 있습니다. 경량 프로덕션 환경, 예를 들어 BandwagonHost( BandwagonHost )의 일반적인 엔트리 레벨 KVM 플랜(일반적으로 20GB40GB SSD 할당량) 또는 DMIT 엔트리 레벨 클라우드 서버(PVM 시리즈의 10GB 모델 등40GB의 고속 NVMe 스토리지)에서는 디스크 공간이 빠듯하게 책정되는 경우가 많습니다. 프리미엄 BGP/CN2 GIA 네트워크 대역폭의 높은 비용으로 인해 여유 스토리지 용량을 확보할 여지가 적습니다. 로그가 제어되지 않은 채 증가하거나 캐시가 누적되거나 작은 파일이 급증하면 사용 가능한 디스크 공간이 몇 시간 만에 쉽게 소진될 수 있습니다.

스토리지가 실제로 100% 가득 차면 문제는 애플리케이션이 쓰기 작업을 수행하지 못하는 것을 넘어섭니다. 시스템이 PAM 인증 세션 파일조차 생성하지 못할 수 있으며, /tmp 임시 파일이나 /run/user 소켓을 할당할 수 없어 일반적인 원격 SSH 연결이 완전히 거부되는 원인이 됩니다.

이 글에서는 데이터 블록 고갈과 inode 고갈에 초점을 맞추어 Linux 스토리지 및 VFS(가상 파일 시스템)의 기본 메커니즘을 살펴봅니다. 프로덕션 환경에서 검증된 체계적인 문제 해결 프로세스, 프로세스 핸들이 잡고 있는 고스트 파일을 자르는 방법, 자동화된 로그 보호 전략을 제공합니다.


하나. 긴급 접속: 디스크 공간 부족으로 SSH 로그인이 불가능할 때의 복구#

디스크 사용량이 100%에 완전히 도달하여 꽉 찬 경우, OpenSSH 데몬은 공개키 또는 비밀번호 로그인 처리 중 시스템 감사 로그를 기록하지 못하거나 세션을 위한 PTY 터미널 할당 시 sshd을(를) 제공하지 못해 Connection closed by remote host을(를) 반환할 수 있습니다. 이 시점에서 무작정 강제 재부팅을 하지 마십시오. 디스크에 플러시되지 않은 메모리 버퍼와 손상된 메타데이터로 인해 파일 시스템 검사(fsck)가 읽기 전용 모드에서 멈출 수 있습니다.

호스팅 업체의 아웃오브밴드(Out-of-Band) 관리 콘솔 사용:

1. BandwagonHost: KiwiVM Interactive Console을 통해 네트워크 계층 우회#

BandwagonHost의 클라우드 서버는 자체 개발한 KiwiVM Control Panel로 관리됩니다. 표준 SSH 접근이 불가능한 극한의 상황에서는 다음과 같이 진행합니다:

  • KiwiVM에 로그인한 후 왼쪽 탐색 메뉴에서 Interactive Console 또는 Root shell - interactive를 찾습니다.
  • 참고: KiwiVM 제어판 관리자 비밀번호는 고객 포털 계정 비밀번호 및 운영 체제의 root 비밀번호와 서로 독립적입니다.
  • 브라우저로 에뮬레이트된 하드웨어 수준의 터미널을 통해 시스템의 /run 임시 세션 네트워크에 의존하지 않고도 직접 셸을 확보하여 긴급 공간 복구 작업을 수행할 수 있습니다.

2. DMIT: 콘솔의 Access 패널을 통해 웹 콘솔 열기#

초기 배포 시 DMIT 시스템 템플릿은 일반적으로 기본적으로 원격 root 비밀번호 로그인을 비활성화하고 SSH 키 쌍을 사용합니다. 디스크가 꽉 차서 공개키 인증 시 임시 파일을 쓰지 못하는 경우:

  • DMIT 고객 영역에 로그인하고 해당 인스턴스의 관리 인터페이스를 연 다음 Access 탭으로 전환합니다.
  • Console을(를) 클릭하여 대화형 웹 터미널을 엽니다.
  • 콘솔은 기본적인 TTY 로그인 환경을 제공하여 네트워크 서비스가 오작동하거나 시스템 스토리지가 잠긴 경우에도 로컬 터미널 방식의 직접적인 문제 해결을 가능하게 합니다.

둘. 핵심 메커니즘: 디스크 블록과 Inode의 독립적 집계#

널리 사용되는 Ext4 및 XFS와 같은 Linux 파일 시스템은 물리 스토리지를 두 개의 독립된 구조로 나눕니다.

명령어 / 구성
                           Linux 存储空间计量体系
                 ┌───────────────────────────────────────┐
                 │          文件系统 (Ext4 / XFS)        │
                 └──────────────────┬────────────────────┘
                                    │
           ┌────────────────────────┴────────────────────────┐
           ▼                                                 ▼
┌──────────────────────┐                         ┌──────────────────────┐
│  数据块 (Data Block) │                         │   索引节点 (Inode)   │
├──────────────────────┤                         ├──────────────────────┤
│ · 存储文件真实内容   │                         │ · 存储文件元数据     │
│ · 尺寸通常为 4KB/块  │                         │ · 大小、权限、时间戳 │
│ · 指标查看:df -h    │                         │ · 指向数据块的指针   │
│ · 症状:大文件撑爆   │                         │ · 指标查看:df -i    │
│                      │                         │ · 症状:海量小文件   │
└──────────────────────┘                         └──────────────────────┘
  1. 블록 고갈: 이는 df -h에서 마운트 지점 사용량이 100%에 도달한 것으로 나타납니다. 일반적으로 순환되지 않은 데이터베이스 로그, Docker 이미지 레이어 또는 코어 덤프 크래시 파일과 같은 하나 또는 몇 개의 거대한 파일이 통제되지 않고 증가하여 발생합니다.
  2. Inode 고갈: 다음과 같이 나타납니다: df -h 에 수 GB 또는 수십 GB의 여유 공간이 표시되지만, 임의의 touch 또는 mkdir 작업 시 모두 다음을 반환합니다: No space left on device. 이 시점에서 다음을 실행하면: df -i, 다음을 확인할 수 있습니다: IUse% 이(가) 다음에 도달했습니다: 100%.
    • 원인: Ext4과 같은 파일 시스템은 포맷 시점에 inode 총수를 고정하며, 일반적으로 기본 설정에 따라 데이터 16KB당 1개의 inode를 할당합니다. 만료된 PHP/Node.js 세션 파일, 비정상적으로 누적된 Postfix 메일 큐, 깊게 중첩된 프론트엔드 빌드 종속성과 같이 애플리케이션이 우발적으로 수십 바이트에 불과한 수백만 개의 초소형 파일을 생성하면, 수백 메가바이트의 디스크 공간만 차지하면서도 inode 풀을 고갈시켜 파일 시스템을 중단 상태에 이르게 할 수 있습니다.

셋. 문제 해결 첫 번째 단계: 전체 디스크를 점검하고 문제 위치 파악#

어떤 알림이든 터미널에 접속한 후 첫 번째 단계는 문제의 본질을 파악하고 대상 디렉터리를 식별하는 것입니다.

1. 알림 유형 식별#

다음 두 명령을 실행하여 데이터를 비교합니다:

bash
# 检查物理块容量占用
df -hT -x tmpfs -x devtmpfs

# 检查 Inode 节点消耗量
df -ihT -x tmpfs -x devtmpfs

매개변수 설명: -x tmpfs -x devtmpfs은(는) 메모리 상주 가상 마운트 지점을 필터링하여 조사에 집중할 수 있도록 돕습니다.

2. 공간을 많이 차지하는 항목 식별: 대용량 디렉터리를 안전하게 검사#

루트 디렉터리에서 무차별적인 명령을 직접 실행하는 것을 피하십시오: du -sh /*. 작은 파일이 많거나 원격 마운트가 존재하는 시스템에서 제한 없는 재귀 탐색을 수행하면 심각한 I/O 블로킹이 발생하거나 메모리가 고갈될 수 있습니다. 단일 파일 시스템으로 제한된 명령을 사용하십시오:

bash
# 仅在当前物理文件系统内查找(-x 避免遍历 /proc, /sys 等伪文件系统),输出最大的前 15 个目录/文件
du -ahx / 2>/dev/null | sort -rh | head -n 15

패키지의 임시 설치가 허용되는 경우, 최신 도구인 ncdu을(를) 사용하면 분석 효율성을 크게 향상시킬 수 있습니다:

bash
# Debian / Ubuntu 环境
apt-get install -y ncdu

# 扫描根目录并进入交互式图形界面(-x 限制在当前文件系统内)
ncdu -x /

3. Inode 소비 위치 찾기: 파일 밀도를 효율적으로 측정#

어떤 디렉터리에 막대한 수의 초소형 파일이 포함되어 있는지 찾는 것은 기존 문제 해결 방식에서 까다로운 부분이었습니다. 기존의 ls은(는) 수백만 개의 파일이 포함된 디렉터리에서 완전히 응답하지 않을 수 있습니다. find 스트리밍 출력과 정렬을 함께 사용하면 더 적은 오버헤드로 위치를 파악할 수 있습니다:

bash
# 统计各目录下的文件总数并按降序排名前 15
find / -xdev -type f -printf '%h\n' 2>/dev/null | sort | uniq -c | sort -rn | head -n 15

넷. 실전 두 번째 단계: 흔히 발생하는 시스템 수준의 공간 소비 항목을 안전하게 정리#

소형 VPS 인스턴스에서 대부분의 디스크 부족 문제는 시스템 로그, 패키지 관리자 잔여 파일, 이전 커널, 컨테이너 데이터와 같은 예측 가능한 몇 가지 영역에서 발생합니다. 다음 절차는 프로덕션 안전을 최우선으로 하며, 무분별하게 rm -rf /var/log/*을(를) 사용하여 서비스 장애가 발생하는 것을 방지합니다.

1. systemd journal 디스크 사용량 줄이기#

최신 Linux 배포판(Debian 11/12, Ubuntu 20.04/22.04/24.04)은 기본적으로 다음을 사용합니다: systemd-journald은(는) 다양한 시스템 및 서비스의 stdout/stderr을 수집합니다. 용량 할당 제한이 없으면 로그가 쉽게 2GB~4GB의 공간을 차지할 수 있습니다.

bash
# 检查当前 journal 日志实际磁盘消耗
journalctl --disk-usage

# 生产级清理:强制截断日志,仅保留最近 3 天或上限 150MB
journalctl --vacuum-time=3d
journalctl --vacuum-size=150M

장기적인 보안 강화 설정: /etc/systemd/journald.conf을(를) 수정하여 문제가 재발하지 않도록 엄격한 제한을 설정합니다:

ini
[Journal]
SystemMaxUse=200M
SystemMaxFileSize=50M

저장 후 적용되도록 systemctl restart systemd-journald을(를) 실행합니다.

2. 패키지 관리자 캐시 및 고아 종속 항목 정리#

APT로 관리되는 시스템에서는 업그레이드할 때마다 다운로드된 .deb 패키지 파일이 모두 /var/cache/apt/archives/ 내에 그대로 저장됩니다:

bash
# 查看 apt 缓存占用的容量
du -sh /var/cache/apt/archives/

# 安全清空全部 deb 包缓存(不影响任何已安装软件)
apt-get clean

# 自动卸载已被淘汰、不再被任何现行软件依赖的库文件与孤立包
apt-get autoremove --purge -y

3. 이전 커널 버전 제거 및 /boot 정리#

기본적인 VPS 구성에서 시스템의 /boot에 작은 별도 파티션이 있는 경우(단지 500MB1GB만 할당하는 특정 시스템 템플릿에서 흔히 발생), 시스템에서 반복적으로 apt upgrade 3 이후 남겨진5 이전 커널 이미지(vmlinuz, initrd.img)는 /boot을(를) 완전히 가득 차게 만들어 이후의 모든 업데이트나 패치 설치를 중단시키는 직접적인 원인이 됩니다.

bash
# 1. 确认当前正在运行的内核版本(务必确认,绝对不可删除运行中的内核!)
uname -r

# 2. 列出系统内所有已注册的内核相关包
dpkg -l | grep -E 'linux-image|linux-headers|linux-modules'

# 3. 使用 APT 安全移除未使用的旧内核(现代发行版首选方式)
apt-get --purge autoremove -y

시스템의 /boot 여유 공간이 완전히 고갈되어 apt 자체가 실패하고 멈춘 경우, 하위 수준의 도구를 사용하여 가장 오래된 커널을 수동으로 제거하고 교착 상태를 해결할 수 있습니다:

bash
# 假设 5.15.0-80 为陈旧未使用内核,5.15.0-105 为当前内核
dpkg --purge linux-image-5.15.0-80-generic

4. Docker 컨테이너 환경의 철저한 정리#

Docker의 댕글링 이미지 레이어(Dangling images), 오래된 빌드 캐시, 그리고 표준 출력으로 지속해서 기록되는 컨테이너 로그는 컨테이너화된 배포 환경에서 가장 큰 공간 소비 요인입니다.

bash
# 全局查看 Docker 各子组件的占用细则
docker system df

# 一键清除所有已停止的容器、未使用的网络和虚悬镜像
docker system prune -f

# 进阶清除:如果需要清理所有未被现存容器使用的镜像(包括长期不用的基础镜像)
docker system prune -a -f

# 清理无名卷(Dangling Volumes,注意确认其中没有包含重要未挂载数据)
docker volume prune -f

제어되지 않는 Docker 컨테이너 로그 축소 방법: 장기간 실행되는 많은 컨테이너에는 log-driver 크기 제한이 없으므로 단일 *-json.log가 10GB 이상으로 커질 수 있습니다:

bash
# 定位最大的容器日志文件
find /var/lib/docker/containers/ -name "*-json.log" -exec du -h {} + | sort -rh | head -n 10

# 在容器运行中进行清空(必须使用截断方式,不能直接 rm,原因见第五章)
truncate -s 0 /var/lib/docker/containers/<container_id>/<container_id>-json.log

다섯. 핵심 난제 해결: 열린 핸들이 붙잡고 있는 "삭제된 고스트 파일" 해제#

많은 관리자를 당황하게 하는 전형적인 시나리오가 있습니다: access.log 아래의 /var/log/nginx/가 무려 8GB를 차지하고 있는 것을 발견하고 자신 있게 rm -f /var/log/nginx/access.log를 실행했습니다. 실행 후 ls에는 파일이 더 이상 표시되지 않지만, 이어서 df -h를 실행해 보면 사용 공간이 전혀 변하지 않았으며 디스크는 여전히 위험 수준인 100%의 사용률을 보이고 있음을 확인하게 됩니다.

1. 이 동작의 이면에 있는 운영체제 메커니즘#

Linux VFS에서 파일의 존재는 두 가지 구성 요소에 의해 유지됩니다:

  1. 디렉터리 엔트리(dentry) 및 하드 링크 수(nlink): rm 시스템 호출은 본질적으로 unlink이며, 파일의 디렉터리 항목만 제거하고 Inode 참조 카운터 nlink를 1만큼 감소시킬 뿐입니다.
  2. 프로세스 열린 파일 디스크립터 수(Open File Descriptors): Nginx Master/Worker, Java, Python과 같은 활성 프로세스가 파일에 대한 파일 디스크립터(fd)를 유지하고 있는 한 Inode 참조 카운트는 0보다 큰 상태로 유지됩니다.

결론: nlink == 0 상태이고 해당 fd를 보유한 모든 프로세스가 핸들을 닫거나 종료되었을 때에만 파일 시스템이 해당 데이터 블록을 여유 스토리지 풀로 실제로 반환합니다.

명령어 / 구성
执行 rm 操作后的物理状态:
[用户执行 rm] ──> 目录项断开 (ls 无法查见)
                        │
                        ▼
      [持有该文件句柄的进程 (如 Nginx PID: 12480)]
                        │
                        ▼
    Inode 引用仍存在 ──> 磁盘扇区锁定 ──> 容量绝不归还系统!

2. 고스트 파일을 열어두고 있는 프로세스 식별#

lsof(List Open Files) 명령을 사용하면 핸들이 아직 해제되지 않은 채 삭제 표시된 모든 파일을 정확하게 찾아낼 수 있습니다:

bash
# 安装 lsof (若系统缺失)
apt-get install -y lsof 2>/dev/null || yum install -y lsof 2>/dev/null

# 查找处于 (deleted) 状态但依然被进程持有的文件
lsof +L1
# 或使用通用过滤:
lsof | grep -iE 'delete|deleted'

일반적인 출력은 다음과 같습니다:

텍스트
COMMAND   PID USER   FD   TYPE DEVICE    SIZE/OFF NODE NAME
nginx   12480 root    7w   REG  252,1  8589934592 131075 /var/log/nginx/access.log (deleted)

출력에서 명확히 드러나듯이, PID가 12480인 nginx 프로세스는 파일 디스크립터 7w를 계속 사용하여 여전히 8.5GB의 물리적 공간을 차지하고 있는 삭제된 로그 파일을 붙잡고 있습니다.

3. 안전하게 공간을 회수하는 두 가지 방법#

방법 A: 관련 서비스를 정상적으로 리로드하거나 재시작하기(권장 표준 접근 방식)#

서비스가 짧은 재시작을 감수할 수 있다면 프로세스 라이프사이클을 직접 재설정하십시오:

bash
# 优雅重载服务(如果服务支持重新打开日志文件,如 Nginx 的 reopen)
nginx -s reopen || systemctl reload nginx

# 或直接重启服务以彻底关闭历史文件描述符
systemctl restart nginx

방법 B: 실행 중에 프로세스의 열린 파일 디스크립터를 통해 축소하기(원활한 무중단 접근 방식)#

고처리량 게이트웨이, 결제 코어 또는 중단되어서는 안 되는 장기 연결과 같이 중요한 서비스를 재시작할 수 없는 환경에서는 Linux 커널의 /proc 가상 파일 시스템을 직접 사용하여 프로세스의 파일 디스크립터를 찾고 제자리에서 축소할 수 있습니다:

bash
# 格式规范:: > /proc/<PID>/fd/<FD_NUM>
# 或使用 truncate 命令:truncate -s 0 /proc/<PID>/fd/<FD_NUM>

# 针对前文示例中的 PID 12480 和 FD 7:
: > /proc/12480/fd/7

작동 원리: 리다이렉션 작업 : >는 활성 핸들에 O_TRUNC 축소 신호를 보내며, 시스템은 즉시 물리적 데이터 블록을 여유 풀로 반환하고 파일 크기를 0바이트로 줄입니다. 그동안 프로세스 자체는 어떠한 유효하지 않은 핸들 오류도 발생시키지 않습니다. 완료 후 df -h를 다시 실행하면 디스크 공간이 즉시 정상으로 돌아옵니다.


여섯. 문제 예방: 자동화된 Logrotate 로테이션 및 자체 복구 구축#

디스크 가득 참으로 인해 밤중에 깨어나는 일을 근본적으로 방지하려면 로그 순환과 할당량 기반 서킷 브레이커를 시스템의 일상적인 백그라운드 관리의 일부로 만들어야 합니다.

1. 표준 Logrotate 규칙 구성#

활성 로그 파일을 직접 삭제하는 것은 심각한 운영상의 실수입니다. 적절한 접근 방식은 logrotate를 구성하여 주기적으로 아카이브된 로그를 순환하고 압축하며 이동하는 것입니다.

/data/app/logs 워크로드에서 실행되는 애플리케이션과 같은 맞춤형 애플리케이션의 경우 표준화된 규칙 /etc/logrotate.d/my-app를 작성하십시오:

ini
/data/app/logs/*.log {
    daily                   # 每日检查切分
    rotate 7                # 仅保留最近 7 份归档
    missingok               # 若日志文件丢失不抛出报警
    notifempty              # 文件为空时不执行切分
    compress                # 使用 gzip 压缩归档文件,削减 90% 存储
    delaycompress           # 延迟到下一次轮转周期再压缩,保障写入安全
    sharedscripts
    copytruncate            # 关键指令:将源日志截断为 0,而非直接重命名移走,避免产生幽灵句柄
}

중요 참고 사항 copytruncate: 재시작 없이 로그 파일을 다시 여는 HUP 신호를 지원하지 않는 서비스의 경우 반드시 copytruncate를 선언해야 합니다. 이는 현재 로그 내용을 백업으로 복사한 다음 원본 파일을 즉시 제자리에서 축소하므로 프로세스가 동일한 유효한 파일 디스크립터를 유지하도록 보장하고 고스트 핸들을 제거합니다.

2. Inode 고갈 방지: 세션 및 임시 캐시 정기 정리#

수명이 짧은 작은 파일이 대량으로 생성되는 시스템의 경우, inode 경고를 기다리기보다 오래된 파일의 정기 정리를 구성하십시오.

crontab에 라이프사이클 관리 로직을 추가합니다(예: /data/cache 아래에서 7일 넘게 수정되지 않은 파일 정리):

bash
# 编辑 root 定时任务
crontab -e

# 每天凌晨 3:30 执行一次清理,并直接在文件系统层删除,避免一次性载入内存
30 3 * * * find /data/cache/ -type f -mtime +7 -delete

성능상의 이점: -delete 작업은 find에 의해 커널 수준에서 unlink를 직접 실행하므로 find ... | xargs rm보다 훨씬 효율적이며 지나치게 긴 인수 목록으로 인한 Argument list too long 오류가 발생하지 않습니다.


일곱. 운영 주기 완성: 자주 사용하는 점검 명령어 빠른 참조#

정기 점검 프로세스에 다음 확인 항목을 추가하십시오:

문제 해결 대상핵심 문제 해결 명령어핵심 가치 / 사용 사례
총 용량df -hT -x tmpfs -x devtmpfs어느 물리 파티션이 가득 찼는지 신속하게 식별
Inodedf -ihT -x tmpfs -x devtmpfs디스크 여유 공간이 있음에도 불구하고 "파일을 생성할 수 없습니다"가 나타날 때 Inode 부족 진단
대용량 파일 찾기du -ahx / 2>/dev/null | sort -rh | head -n 15단일 파일 시스템 내에서 깊은 계층부터 위로 올라가며 대용량 디렉터리 및 개별 파일 찾기
작은 파일 누적find / -xdev -type f -printf '%h\n' 2>/dev/null | sort | uniq -c | sort -rn | head -n 15방대한 수의 아주 작은 파일로 인해 Inode 고갈이 발생하는 디렉터리 찾기
고스트 파일 핸들lsof +L1 또는 lsof | grep -i deleted다음 상태에 해당하는 대상 찾기 rm 삭제되었으나 물리적 공간이 여전히 서비스 프로세스에 의해 점유되어 있는 좀비 파일
온라인 상태에서 축소: > /proc/<PID>/fd/<FD>서비스를 재시작하거나 다운타임을 유발하지 않고 프로덕션 환경에서 물리적 스토리지를 즉시 회수
로그 축소journalctl --vacuum-size=100Msystemd가 차지한 수 GB의 시스템 로그를 빠르게 회수

대역 외(out-of-band) 패널 접근과 파일 시스템 이원화 진단부터 고스트 파일 핸들 축소 및 견고한 Logrotate 관리에 이르기까지 이 접근 방식을 마스터하면, 하드웨어 할당량이 제한된 소형 VPS 인스턴스에서도 시스템의 장기적인 안정성을 확보하고 스토리지의 통제되지 않은 증가로 인한 서비스 중단 위험을 제거할 수 있습니다.