Casi todos los ingenieros que administran servidores en la nube se han encontrado con la alerta de emergencia No space left on device(No space left on device). En entornos de producción ligeros, por ejemplo, los planes KVM de nivel de entrada comunes de BandwagonHost( BandwagonHost ) (normalmente con una cuota de 20GB40GB SSD) o los servidores en la nube de nivel de entrada de DMIT (como los modelos de 10GB de la serie PVM40GB de almacenamiento NVMe de alta velocidad), el espacio en disco suele estar muy ajustado. El alto coste del ancho de banda de red premium BGP/CN2 GIA deja menos margen para capacidad de almacenamiento de reserva. Si los registros crecen sin control, las cachés se acumulan o los archivos pequeños proliferan, el espacio en disco disponible puede agotarse fácilmente en cuestión de horas.
Cuando el almacenamiento alcanza efectivamente el 100% de su capacidad, el problema va más allá de que las aplicaciones no puedan escribir: es posible que el sistema ni siquiera pueda crear archivos de sesión de autenticación PAM, no se puedan asignar /tmp archivos temporales o /run/user sockets, lo que provoca que las conexiones SSH remotas ordinarias se rechacen por completo.
Este artículo explora los mecanismos subyacentes del almacenamiento en Linux y del VFS (Virtual File System), centrándose en el agotamiento de bloques de datos y la extenuación de inodos. Proporciona un proceso de resolución de problemas sistemático y probado en producción, un método para truncar archivos fantasma retenidos por identificadores de proceso y estrategias automatizadas de protección de registros.
Uno. Acceso de emergencia: recuperación cuando un disco lleno impide el inicio de sesión por SSH#
Cuando el uso del disco se queda completamente bloqueado en el 100 %, el demonio OpenSSH puede no ser capaz de escribir registros de auditoría del sistema al procesar inicios de sesión mediante clave pública o contraseña, o no poder proporcionar sshd para asignar un terminal PTY para la sesión y devolver Connection closed by remote host. No fuerce a ciegas un reinicio eléctrico en este momento: los búferes de memoria que no se hayan volcado al disco y los metadatos dañados pueden provocar que la comprobación del sistema de archivos (fsck) se quede bloqueada en modo de solo lectura.
Utilizar la consola de administración fuera de banda del proveedor:
1. BandwagonHost: Omitir la capa de red con KiwiVM Interactive Console#
Los servidores en la nube de BandwagonHost se administran mediante su KiwiVM Control Panel propietario. En casos extremos en los que el acceso SSH estándar no esté disponible:
- Inicie sesión en KiwiVM y busque en la navegación izquierda Interactive Console o Root shell - interactive.
- Nota: la contraseña de administración del panel de control de KiwiVM es independiente tanto de la contraseña de la cuenta del área de clientes como de la contraseña de root del sistema operativo.
- A través de un terminal a nivel de hardware emulado en el navegador, puede operar sin depender de la red de sesión temporal
/rundel sistema, obtener directamente una shell y realizar operaciones de emergencia para recuperar espacio.
2. DMIT: Abrir la consola web a través del panel Access de la consola#
Durante el despliegue inicial, las plantillas del sistema de DMIT generalmente deshabilitan el inicio de sesión remoto de root con contraseña por defecto y utilizan pares de claves SSH. Si un disco lleno impide que la autenticación por clave pública escriba archivos temporales:
- Inicie sesión en el área de clientes de DMIT, abra la interfaz de administración de la instancia correspondiente y cambie a la pestaña Access.
- Haga clic en Console para abrir el terminal web interactivo.
- La consola proporciona un entorno de inicio de sesión TTY básico, lo que permite solucionar problemas directamente al estilo de un terminal local cuando los servicios de red fallan o el almacenamiento del sistema se bloquea.
Dos. Mecanismos principales: contabilidad separada para bloques de disco e inodos#
Los sistemas de archivos de Linux, como los ampliamente utilizados Ext4 y XFS, dividen el almacenamiento físico en dos estructuras independientes:
Linux 存储空间计量体系
┌───────────────────────────────────────┐
│ 文件系统 (Ext4 / XFS) │
└──────────────────┬────────────────────┘
│
┌────────────────────────┴────────────────────────┐
▼ ▼
┌──────────────────────┐ ┌──────────────────────┐
│ 数据块 (Data Block) │ │ 索引节点 (Inode) │
├──────────────────────┤ ├──────────────────────┤
│ · 存储文件真实内容 │ │ · 存储文件元数据 │
│ · 尺寸通常为 4KB/块 │ │ · 大小、权限、时间戳 │
│ · 指标查看:df -h │ │ · 指向数据块的指针 │
│ · 症状:大文件撑爆 │ │ · 指标查看:df -i │
│ │ │ · 症状:海量小文件 │
└──────────────────────┘ └──────────────────────┘- Agotamiento de bloques: Esto se manifiesta cuando
df -hmuestra que el uso del punto de montaje alcanza100%. Suele estar causado por el crecimiento descontrolado de uno o varios archivos gigantescos, como registros de bases de datos no rotados, capas de imágenes de Docker o archivos de volcado de memoria (core dump). - Agotamiento de inodos: Esto se manifiesta cuando
df -hmuestra varios GB o incluso decenas de GB de espacio libre, pero cualquiertouchomkdiroperación devuelve siempreNo space left on device. En este punto, ejecutedf -i, verá queIUse%ha alcanzado100%.- Causa: los sistemas de archivos como Ext4 fijan el número total de inodos en el momento del formateo, asignando habitualmente por defecto 1 inodo por cada 16KB de datos. Si una aplicación genera accidentalmente millones de archivos diminutos de solo unas pocas decenas de bytes, como archivos de sesión caducados de PHP/Node.js, una cola de correo de Postfix acumulada de forma anómala o dependencias de compilación de frontend profundamente anidadas, puede utilizar solo unos pocos cientos de megabytes de espacio en disco mientras agota el conjunto de inodos y detiene el sistema de archivos.
Tres. Primera etapa de resolución de problemas: inspeccionar todo el disco y localizar el problema#
Sea cual sea la alerta, el primer paso tras entrar en el terminal es determinar la naturaleza del problema e identificar el directorio de destino.
1. Identificar el tipo de alerta#
Ejecute los dos comandos siguientes para comparar los datos:
# 检查物理块容量占用
df -hT -x tmpfs -x devtmpfs
# 检查 Inode 节点消耗量
df -ihT -x tmpfs -x devtmpfsDescripciones de los parámetros:
-x tmpfs -x devtmpfsfiltra los puntos de montaje virtuales residentes en memoria para mantener enfocada la investigación.
2. Identificar a los devoradores de espacio: escanear directorios grandes de forma segura#
Evite ejecutar comandos indiscriminados directamente desde el directorio raíz: du -sh /*, ya que una recursión sin restricciones en sistemas con muchos archivos pequeños o montajes remotos puede provocar un bloqueo grave de E/S o incluso agotar la memoria. Utilice comandos limitados a un único sistema de archivos:
# 仅在当前物理文件系统内查找(-x 避免遍历 /proc, /sys 等伪文件系统),输出最大的前 15 个目录/文件
du -ahx / 2>/dev/null | sort -rh | head -n 15Si se permite la instalación temporal de paquetes, el uso de la herramienta moderna ncdu puede mejorar considerablemente la eficiencia del análisis:
# Debian / Ubuntu 环境
apt-get install -y ncdu
# 扫描根目录并进入交互式图形界面(-x 限制在当前文件系统内)
ncdu -x /3. Localizar a los consumidores de inodos: medir la densidad de archivos de forma eficiente#
Averiguar qué directorio contiene un número descomunal de archivos diminutos es una parte difícil de la resolución de problemas tradicional. El ls convencional puede dejar de responder por completo en directorios que contienen millones de archivos. El uso de la salida en streaming de find combinada con la ordenación permite localizarlo con una sobrecarga menor:
# 统计各目录下的文件总数并按降序排名前 15
find / -xdev -type f -printf '%h\n' 2>/dev/null | sort | uniq -c | sort -rn | head -n 15Cuatro. Segunda etapa práctica: limpiar de forma segura los elementos habituales que consumen espacio a nivel del sistema#
En instancias VPS pequeñas, la mayoría de los problemas de disco lleno ocurren en unas pocas áreas predecibles: registros del sistema, restos de administradores de paquetes, núcleos antiguos y datos de contenedores. Los siguientes procedimientos priorizan la seguridad en producción y evitan usar a ciegas rm -rf /var/log/* provocando la caída del servicio.
1. Reducir el uso de disco del journal de systemd#
Las distribuciones modernas de Linux (Debian 11/12, Ubuntu 20.04/22.04/24.04) utilizan lo siguiente de forma predeterminada: systemd-journald recopila stdout/stderr de varios sistemas y servicios. Sin límites de cuota, los registros pueden consumir fácilmente entre 2GB y 4GB de espacio.
# 检查当前 journal 日志实际磁盘消耗
journalctl --disk-usage
# 生产级清理:强制截断日志,仅保留最近 3 天或上限 150MB
journalctl --vacuum-time=3d
journalctl --vacuum-size=150MConfiguración de fortalecimiento a largo plazo: Modifique /etc/systemd/journald.conf y establezca límites estrictos para evitar que el problema se repita:
[Journal]
SystemMaxUse=200M
SystemMaxFileSize=50MDespués de guardar, ejecute systemctl restart systemd-journald para que surta efecto.
2. Limpiar cachés del administrador de paquetes y dependencias huérfanas#
En sistemas administrados con APT, los archivos descargados durante cada actualización de paquetes .deb se almacenan íntegramente en /var/cache/apt/archives/ en:
# 查看 apt 缓存占用的容量
du -sh /var/cache/apt/archives/
# 安全清空全部 deb 包缓存(不影响任何已安装软件)
apt-get clean
# 自动卸载已被淘汰、不再被任何现行软件依赖的库文件与孤立包
apt-get autoremove --purge -y3. Eliminar versiones antiguas del kernel y limpiar /boot#
En una configuración básica de VPS, si el sistema tiene una partición independiente pequeña para /boot (habitual en ciertas plantillas de sistema que solo asignan 500MB1GB), las imágenes de kernel antiguas (vmlinuz, initrd.img) dejadas atrás tras repetidas 5 provocarán directamente que apt upgrade 3 del sistema/boot se llene por completo, interrumpiendo cualquier actualización o instalación de parches posterior.
# 1. 确认当前正在运行的内核版本(务必确认,绝对不可删除运行中的内核!)
uname -r
# 2. 列出系统内所有已注册的内核相关包
dpkg -l | grep -E 'linux-image|linux-headers|linux-modules'
# 3. 使用 APT 安全移除未使用的旧内核(现代发行版首选方式)
apt-get --purge autoremove -ySi el sistema, debido a que /boot se ha quedado completamente sin espacio libre, hace que apt falle y se quede bloqueado, puede utilizar herramientas de nivel inferior para eliminar manualmente los kernels más antiguos y romper el bloqueo:
# 假设 5.15.0-80 为陈旧未使用内核,5.15.0-105 为当前内核
dpkg --purge linux-image-5.15.0-80-generic4. Limpieza a fondo del entorno de contenedores Docker#
Las capas de imágenes huérfanas de Docker (Dangling images), las cachés de compilación obsoletas y los registros de contenedores escritos continuamente en la salida estándar son los mayores consumidores de espacio en implementaciones en contenedores.
# 全局查看 Docker 各子组件的占用细则
docker system df
# 一键清除所有已停止的容器、未使用的网络和虚悬镜像
docker system prune -f
# 进阶清除:如果需要清理所有未被现存容器使用的镜像(包括长期不用的基础镜像)
docker system prune -a -f
# 清理无名卷(Dangling Volumes,注意确认其中没有包含重要未挂载数据)
docker volume prune -fMétodo de truncamiento para registros de contenedores Docker descontrolados: Muchos contenedores de ejecución prolongada carecen de límites de tamaño para el log-driver, por lo que un único *-json.log puede superar los 10GB:
# 定位最大的容器日志文件
find /var/lib/docker/containers/ -name "*-json.log" -exec du -h {} + | sort -rh | head -n 10
# 在容器运行中进行清空(必须使用截断方式,不能直接 rm,原因见第五章)
truncate -s 0 /var/lib/docker/containers/<container_id>/<container_id>-json.logCinco. Afrontar la parte difícil: liberar los «archivos fantasma eliminados» retenidos por identificadores abiertos#
Este es un escenario clásico que desconcierta a muchos administradores: descubre que /var/log/nginx/ bajo access.log ocupaba 8GB enteros, por lo que ejecutó rm -f /var/log/nginx/access.log con total confianza. Tras la ejecución, ls ya no muestra el archivo, pero al ejecutar después df -h, descubre que el espacio utilizado no ha cambiado en absoluto y el disco sigue mostrando un nivel crítico de uso del 100%.
1. El mecanismo del sistema operativo detrás del comportamiento#
En el VFS de Linux, la existencia de un archivo se mantiene mediante dos componentes:
- Entradas de directorio (dentry) y recuento de enlaces duros (nlink): La llamada al sistema
rmes en esenciaunlink, simplemente elimina la entrada de directorio del archivo y reduce el contador de referencias de Inodenlinken 1. - Recuento de descriptores de archivo abiertos por procesos (Open File Descriptors): Mientras un proceso activo, como Nginx Master/Worker, Java o Python, conserve un descriptor de archivo (fd) para el archivo, el recuento de referencias del Inode seguirá siendo mayor que 0.
Conclusión: Solo cuando nlink == 0 y todos los procesos que mantienen ese fd hayan cerrado sus identificadores o hayan terminado, el sistema de archivos liberará realmente los bloques de datos correspondientes al grupo de almacenamiento libre.
执行 rm 操作后的物理状态:
[用户执行 rm] ──> 目录项断开 (ls 无法查见)
│
▼
[持有该文件句柄的进程 (如 Nginx PID: 12480)]
│
▼
Inode 引用仍存在 ──> 磁盘扇区锁定 ──> 容量绝不归还系统!2. Identificar los procesos que mantienen abiertos archivos fantasma#
El uso del comando lsof (List Open Files) identifica con precisión todos los archivos marcados como eliminados cuyos identificadores aún no se han liberado:
# 安装 lsof (若系统缺失)
apt-get install -y lsof 2>/dev/null || yum install -y lsof 2>/dev/null
# 查找处于 (deleted) 状态但依然被进程持有的文件
lsof +L1
# 或使用通用过滤:
lsof | grep -iE 'delete|deleted'La salida típica es la siguiente:
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
nginx 12480 root 7w REG 252,1 8589934592 131075 /var/log/nginx/access.log (deleted)La salida muestra claramente: el proceso nginx con PID 12480 todavía utiliza el descriptor de archivo 7w para retener un archivo de registro eliminado que aún ocupa 8.5GB de espacio físico.
3. Dos formas de recuperar espacio de forma segura#
Método A: Recargar o reiniciar de forma ordenada el servicio asociado (enfoque estándar recomendado)#
Si el servicio puede tolerar un breve reinicio, restablezca el ciclo de vida del proceso directamente:
# 优雅重载服务(如果服务支持重新打开日志文件,如 Nginx 的 reopen)
nginx -s reopen || systemctl reload nginx
# 或直接重启服务以彻底关闭历史文件描述符
systemctl restart nginxMétodo B: Truncar a través del descriptor de archivo abierto del proceso durante la ejecución (enfoque transparente sin tiempo de inactividad)#
En entornos donde los servicios críticos, como pasarelas de alto rendimiento, núcleos de pago o conexiones persistentes ininterrumpidas, no pueden reiniciarse, puede utilizar directamente el pseudosistema de archivos /proc del kernel de Linux para localizar el descriptor de archivo del proceso y truncarlo in situ:
# 格式规范:: > /proc/<PID>/fd/<FD_NUM>
# 或使用 truncate 命令:truncate -s 0 /proc/<PID>/fd/<FD_NUM>
# 针对前文示例中的 PID 12480 和 FD 7:
: > /proc/12480/fd/7Cómo funciona: La operación de redirección : > envía al identificador activo una señal de truncamiento O_TRUNC, el sistema devuelve inmediatamente los bloques de datos físicos al grupo libre y reduce el tamaño del archivo a 0 bytes, mientras que el proceso en sí no genera ningún error de identificador no válido. Tras completarlo, ejecute nuevamente df -h y el espacio en disco volverá de inmediato a la normalidad.
Seis. Prevenir problemas antes de que comiencen: crear rotación automatizada con Logrotate y autorrecuperación#
La forma fundamental de evitar ser despertado por la noche debido a un disco lleno es hacer que la rotación de registros y los disyuntores basados en cuotas formen parte de la gestión rutinaria en segundo plano del sistema.
1. Configurar reglas estándar de Logrotate#
Eliminar directamente los archivos de registro activos es un grave error operativo. El método adecuado consiste en configurar logrotate para rotar, comprimir y mover periódicamente los registros archivados.
Para aplicaciones personalizadas, como las que se ejecutan en cargas de trabajo de /data/app/logs, escriba reglas estandarizadas /etc/logrotate.d/my-app:
/data/app/logs/*.log {
daily # 每日检查切分
rotate 7 # 仅保留最近 7 份归档
missingok # 若日志文件丢失不抛出报警
notifempty # 文件为空时不执行切分
compress # 使用 gzip 压缩归档文件,削减 90% 存储
delaycompress # 延迟到下一次轮转周期再压缩,保障写入安全
sharedscripts
copytruncate # 关键指令:将源日志截断为 0,而非直接重命名移走,避免产生幽灵句柄
}Nota importante
copytruncate: Para aquellos servicios que no admiten la señalHUPpara reabrir archivos de registro sin reiniciar, se debe declararcopytruncate. Esta opción copia el contenido actual del registro en una copia de seguridad y luego trunca inmediatamente el archivo original en el lugar, lo que garantiza que el proceso conserve el mismo descriptor de archivo válido y elimina los identificadores fantasma.
2. Prevenir el agotamiento de inodos: limpiar periódicamente las sesiones y las cachés temporales#
En sistemas que generan una enorme cantidad de archivos pequeños de corta duración, configure una limpieza programada de archivos antiguos en lugar de esperar una alerta de inodos.
Agregue lógica de gestión del ciclo de vida a crontab (por ejemplo, limpiar los archivos bajo /data/cache que no hayan sido modificados durante más de 7 días):
# 编辑 root 定时任务
crontab -e
# 每天凌晨 3:30 执行一次清理,并直接在文件系统层删除,避免一次性载入内存
30 3 * * * find /data/cache/ -type f -mtime +7 -deleteVentajas de rendimiento: La operación
-deletela realizafindejecutando directamente a nivel de kernelunlink, siendo mucho más eficiente quefind ... | xargs rm, y no producirá el siguiente error derivado de una lista de argumentos demasiado larga: errorArgument list too long.
Siete. Completar el ciclo de operaciones: referencia rápida de comandos de inspección habituales#
Agregue las siguientes comprobaciones a su proceso de inspección rutinaria:
| Objetivo de resolución de problemas | Comandos clave de resolución de problemas | Valor fundamental / Casos de uso |
|---|---|---|
| Capacidad total | df -hT -x tmpfs -x devtmpfs | Identificar rápidamente qué partición física está llena |
| Inodos | df -ihT -x tmpfs -x devtmpfs | Diagnosticar una escasez de inodos cuando aparece «No se puede crear el archivo» a pesar de haber espacio libre en disco |
| Localizar archivos grandes | du -ahx / 2>/dev/null | sort -rh | head -n 15 | Buscar directorios grandes y archivos individuales dentro de un único sistema de archivos, trabajando desde los niveles más profundos hacia arriba |
| Acumulación de archivos pequeños | find / -xdev -type f -printf '%h\n' 2>/dev/null | sort | uniq -c | sort -rn | head -n 15 | Localizar directorios donde un número enorme de archivos diminutos causa el agotamiento de inodos |
| Identificadores de archivos fantasma | lsof +L1 o lsof | grep -i deleted | Buscar aquellos que han sido rm Archivos zombi eliminados cuyo espacio físico todavía está retenido por un proceso de servicio |
| Truncar en línea | : > /proc/<PID>/fd/<FD> | Recuperar al instante almacenamiento físico en producción sin reiniciar servicios ni causar tiempo de inactividad |
| Truncamiento de registros | journalctl --vacuum-size=100M | Recuperar rápidamente varios GB de registros del sistema consumidos por systemd |
Dominar este enfoque, desde el acceso al panel fuera de banda y el diagnóstico de doble vía del sistema de archivos hasta el truncamiento de identificadores de archivos fantasma y la gestión sólida de Logrotate, garantiza la estabilidad del sistema a largo plazo incluso en instancias VPS pequeñas con cuotas de hardware limitadas, eliminando el riesgo de interrupciones del servicio causadas por el crecimiento incontrolado del almacenamiento.