クラウドサーバーを管理するほぼすべてのエンジニアが、No space left on device(No space left on device)の緊急アラートに遭遇した経験を持っています。軽量な本番環境、たとえばBandwagonHost( BandwagonHost )の一般的なエントリーレベルのKVMプラン(通常は20GB40GB SSDのクォータ)や、DMITのエントリーレベルのクラウドサーバー(PVMシリーズの10GBモデルなど40GBの高速NVMeストレージ)では、ディスク容量が厳しく制限されていることがよくあります。プレミアムなBGP/CN2 GIAネットワーク帯域幅の高コストにより、予備のストレージ容量に割く余裕が少なくなっています。ログが無制限に肥大化したり、キャッシュが蓄積したり、小さなファイルが急増したりすると、利用可能なディスク容量は数時間以内に容易に枯渇する可能性があります。
ストレージが実際に100%満杯に達すると、問題はアプリケーションが書き込みを行えなくなることにとどまりません。システムがPAM認証セッションファイルを作成することすらできなくなり、/tmp一時ファイルや/run/userソケットを割り当てられなくなるため、通常のRemote SSH接続が完全に拒否される原因となります。
この記事では、データブロックの枯渇とinodeの枯渇に焦点を当て、LinuxストレージおよびVFS(Virtual File System)の基盤メカニズムを探求します。本番環境で検証済みの体系的なトラブルシューティングプロセス、プロセスのハンドルによって保持されたゴーストファイルを切り詰める方法、そして自動化されたログ保護戦略を提供します。
一、緊急アクセス:ディスク満杯によりSSHログインができない場合のリカバリ#
ディスク使用率が100%で完全に逼迫している場合、OpenSSHデーモンは公開鍵やパスワードによるログイン処理中にシステム監査ログを書き込めなくなったり、セッション用のPTY端末の割り当てでsshdを提供できずにConnection closed by remote hostを返したりすることがあります。この時点でむやみに強制再起動を行わないでください。ディスクにフラッシュされていないメモリバッファや破損したメタデータによって、ファイルシステムチェック(fsck)が読み取り専用モードでスタックする原因となる可能性があります。
プロバイダーの帯域外管理コンソールを使用する:
1. BandwagonHost:KiwiVM Interactive Consoleでネットワーク層をバイパスする#
BandwagonHostのクラウドサーバーは、独自のKiwiVM Control Panelによって管理されています。標準的なSSHアクセスが利用できない極端な状況では、次の手順を実行します:
- KiwiVMにログインし、左側のナビゲーションでInteractive ConsoleまたはRoot shell - interactiveを見つけます。
- 注意:KiwiVMコントロールパネルの管理者パスワードは、クライアントエリアのアカウントパスワードおよびOSのrootパスワードのいずれとも独立しています。
- ブラウザでエミュレートされたハードウェアレベルの端末を使用することで、システムの
/run一時セッションネットワークに依存することなく操作でき、直接シェルを取得して緊急の空き容量復旧作業を実行できます。
2. DMIT:コンソールのAccessパネルからWebコンソールを開く#
初期デプロイ時、DMITのシステムテンプレートは一般にデフォルトでリモートrootパスワードログインを無効化し、SSH鍵認証を使用します。ディスクが満杯で公開鍵認証による一時ファイルの書き込みが妨げられている場合は、次のようにします:
- DMITのクライアントエリアにログインし、該当するインスタンスの管理画面を開いてAccessタブに切り替えます。
- Consoleをクリックして、インタラクティブなWebターミナルを開きます。
- コンソールは基本的なTTYログイン環境を提供し、ネットワークサービスが誤動作したりシステムストレージがロック状態になったりした場合でも、ローカル端末のような感覚で直接トラブルシューティングを行えます。
二.コアメカニズム:ディスクブロックとInodeの個別管理#
広く使用されているExt4やXFSなどのLinuxファイルシステムは、物理ストレージを二つの独立した構造に分割します:
Linux 存储空间计量体系
┌───────────────────────────────────────┐
│ 文件系统 (Ext4 / XFS) │
└──────────────────┬────────────────────┘
│
┌────────────────────────┴────────────────────────┐
▼ ▼
┌──────────────────────┐ ┌──────────────────────┐
│ 数据块 (Data Block) │ │ 索引节点 (Inode) │
├──────────────────────┤ ├──────────────────────┤
│ · 存储文件真实内容 │ │ · 存储文件元数据 │
│ · 尺寸通常为 4KB/块 │ │ · 大小、权限、时间戳 │
│ · 指标查看:df -h │ │ · 指向数据块的指针 │
│ · 症状:大文件撑爆 │ │ · 指标查看:df -i │
│ │ │ · 症状:海量小文件 │
└──────────────────────┘ └──────────────────────┘- ブロックの枯渇:これは
df -hでマウントポイントの使用率が100%に達している状態として現れます。通常、ローテーションされていないデータベースログ、Dockerイメージレイヤー、コアダンプクラッシュファイルなど、一つまたは少数の巨大ファイルが無制限に増大することが原因です。 - Inodeの枯渇:これは次のように現れます:
df -hに数GBや数十GBもの空き容量が表示されているにもかかわらず、任意のtouchまたはmkdir操作がすべて次を返します:No space left on device。この時点で次を実行すると:df -i、次のように確認できます:IUse%が次に達しています:100%.- 原因:Ext4などのファイルシステムはフォーマット時にinodeの総数を固定し、通常はデフォルトでデータ16KBごとに1個のinodeを割り当てます。期限切れのPHP/Node.jsのセッションファイル、異常に蓄積されたPostfixのメールキュー、深くネストされたフロントエンドのビルド依存関係など、アプリケーションが誤って長さがわずか数十バイトの微小なファイルを何百万個も生成した場合、ディスク容量をわずか数百メガバイトしか消費していなくてもinodeプールを枯渇させ、ファイルシステムを停止状態に追い込む可能性があります。
三.トラブルシューティング第一段階:ディスク全体を検査して問題を特定する#
アラートの種類が何であれ、ターミナルに入った後の最初のステップは、問題の性質を判断して対象のディレクトリを特定することです。
1. アラートの種類を特定する#
次の二つのコマンドを実行してデータを比較します:
# 检查物理块容量占用
df -hT -x tmpfs -x devtmpfs
# 检查 Inode 节点消耗量
df -ihT -x tmpfs -x devtmpfsパラメータの説明:
-x tmpfs -x devtmpfsはメモリ常駐型の仮想マウントポイントを除外し、調査に集中できるようにします。
2. 容量を占有している対象の特定:大きなディレクトリを安全にスキャンする#
ルートディレクトリから無差別にコマンドを実行することは避けてください:du -sh /*。小さなファイルが多数存在したりリモートマウントがあったりするシステムで無制限の再帰処理を行うと、深刻なI/Oブロッキングを引き起こしたり、メモリを使い果たしたりする可能性があります。単一のファイルシステムに限定したコマンドを使用してください:
# 仅在当前物理文件系统内查找(-x 避免遍历 /proc, /sys 等伪文件系统),输出最大的前 15 个目录/文件
du -ahx / 2>/dev/null | sort -rh | head -n 15パッケージの一時的なインストールが許可されている場合は、最新ツールncduを使用することで分析効率を大幅に向上させることができます:
# Debian / Ubuntu 环境
apt-get install -y ncdu
# 扫描根目录并进入交互式图形界面(-x 限制在当前文件系统内)
ncdu -x /3. Inode消費元の特定:ファイル密度を効率的に測定する#
どのディレクトリに膨大な数の極小ファイルが含まれているかを見つけ出すことは、従来のトラブルシューティングにおける難題でした。従来のlsは、数百万ものファイルを含むディレクトリに対して完全に無応答になることがあります。findのストリーミング出力をソートと組み合わせることで、より低いオーバーヘッドで場所を特定できます:
# 统计各目录下的文件总数并按降序排名前 15
find / -xdev -type f -printf '%h\n' 2>/dev/null | sort | uniq -c | sort -rn | head -n 15四.実践第二段階:一般的なシステムレベルの容量消費元を安全にクリーンアップする#
小規模なVPSインスタンスでは、ディスク満杯問題のほとんどは予測可能な少数の領域(システムログ、パッケージマネージャーの残骸、古いカーネル、コンテナデータ)で発生します。以下の手順は本番環境の安全性を最優先とし、盲目的にrm -rf /var/log/*を使用してサービスをクラッシュさせる事態を回避します。
1. systemd-journalのディスク使用量を削減する#
最新のLinuxディストリビューション(Debian 11/12、Ubuntu 20.04/22.04/24.04)はデフォルトで次を使用します:systemd-journaldが各種システムやサービスからのstdout/stderrを収集します。クォータ制限がない場合、ログによって容易に2GB〜4GBの容量が消費される可能性があります。
# 检查当前 journal 日志实际磁盘消耗
journalctl --disk-usage
# 生产级清理:强制截断日志,仅保留最近 3 天或上限 150MB
journalctl --vacuum-time=3d
journalctl --vacuum-size=150M長期的な強化設定:/etc/systemd/journald.confを変更し、問題の再発を防ぐためにハードリミットを設定します:
[Journal]
SystemMaxUse=200M
SystemMaxFileSize=50M保存後、反映させるためにsystemctl restart systemd-journaldを実行します。
2. パッケージマネージャーのキャッシュと孤立した依存関係をクリーンアップする#
APTで管理されているシステムでは、各アップグレード時にダウンロードされた.debパッケージファイルはすべて/var/cache/apt/archives/内に完全に保存されます:
# 查看 apt 缓存占用的容量
du -sh /var/cache/apt/archives/
# 安全清空全部 deb 包缓存(不影响任何已安装软件)
apt-get clean
# 自动卸载已被淘汰、不再被任何现行软件依赖的库文件与孤立包
apt-get autoremove --purge -y3. 古いカーネルバージョンを削除して/bootをクリーンアップする#
基本的なVPS構成において、システムの/bootに小さな独立したパーティションがある場合(わずか500MB1GBしか割り当てない一部のシステムテンプレートで一般的です)、システムの度重なる5古いカーネルイメージ(vmlinuz、initrd.img)は、直接apt upgradeの後に残された3/bootを完全に満杯にさせ、その後の更新やパッチのインストールを中断させる原因となります。
# 1. 确认当前正在运行的内核版本(务必确认,绝对不可删除运行中的内核!)
uname -r
# 2. 列出系统内所有已注册的内核相关包
dpkg -l | grep -E 'linux-image|linux-headers|linux-modules'
# 3. 使用 APT 安全移除未使用的旧内核(现代发行版首选方式)
apt-get --purge autoremove -yシステムの/bootの空き容量が完全に枯渇し、その結果apt自体が失敗してスタックした場合は、より低レベルのツールを使用して最も古いカーネルを手動で削除し、デッドロックを解消できます:
# 假设 5.15.0-80 为陈旧未使用内核,5.15.0-105 为当前内核
dpkg --purge linux-image-5.15.0-80-generic4. Dockerコンテナ環境の徹底的なクリーンアップ#
Dockerの宙づりイメージレイヤー(Dangling images)、不要になったビルドキャッシュ、および標準出力に継続的に書き込まれるコンテナログは、コンテナ化されたデプロイ環境において最大のストレージ消費要因です。
# 全局查看 Docker 各子组件的占用细则
docker system df
# 一键清除所有已停止的容器、未使用的网络和虚悬镜像
docker system prune -f
# 进阶清除:如果需要清理所有未被现存容器使用的镜像(包括长期不用的基础镜像)
docker system prune -a -f
# 清理无名卷(Dangling Volumes,注意确认其中没有包含重要未挂载数据)
docker volume prune -f制御不能になったDockerコンテナログの切り捨て方法:長時間稼働する多くのコンテナにはlog-driverのサイズ制限がないため、単一の*-json.logが10GBを超えて肥大化することがあります:
# 定位最大的容器日志文件
find /var/lib/docker/containers/ -name "*-json.log" -exec du -h {} + | sort -rh | head -n 10
# 在容器运行中进行清空(必须使用截断方式,不能直接 rm,原因见第五章)
truncate -s 0 /var/lib/docker/containers/<container_id>/<container_id>-json.log五、難題の攻略:開かれたハンドルが保持する「削除されたゴーストファイル」の解放#
これは多くの管理者を困惑させる典型的なシナリオです:access.log配下の/var/log/nginx/が丸々8GBを占有しているのを発見し、自信を持ってrm -f /var/log/nginx/access.logを実行しました。実行後、lsにはもはやファイルが表示されませんが、続けてdf -hを実行すると、使用済み容量が全く変わっておらず、ディスクが依然として危機的な100%の使用率を示していることに気づきます。
1. この挙動の背後にあるオペレーティングシステムの仕組み#
Linux VFSにおいて、ファイルの存在は二つの要素によって維持されています:
- ディレクトリエントリ(dentry)とハードリンク数(nlink):
rmシステムコールは本質的にunlinkであり、ファイルのディレクトリエントリを削除してInode参照カウンタnlinkを1減らすだけです。 - プロセスが開いているファイルディスクリプタ数(Open File Descriptors):Nginx Master/Worker、Java、Pythonなどのアクティブなプロセスがファイル用のファイルディスクリプタ(fd)を保持している限り、Inodeの参照カウントは0より大きいままになります。
結論:nlink == 0であり、かつそのfdを保持するすべてのプロセスがハンドルを閉じるか終了した場合にのみ、ファイルシステムは対応するデータブロックを空きストレージプールに実際に解放します。
执行 rm 操作后的物理状态:
[用户执行 rm] ──> 目录项断开 (ls 无法查见)
│
▼
[持有该文件句柄的进程 (如 Nginx PID: 12480)]
│
▼
Inode 引用仍存在 ──> 磁盘扇区锁定 ──> 容量绝不归还系统!2. ゴーストファイルを開いたまま保持しているプロセスの特定#
lsof(List Open Files)コマンドを使用すると、削除済みとしてマークされながらハンドルがまだ解放されていないすべてのファイルを正確に特定できます:
# 安装 lsof (若系统缺失)
apt-get install -y lsof 2>/dev/null || yum install -y lsof 2>/dev/null
# 查找处于 (deleted) 状态但依然被进程持有的文件
lsof +L1
# 或使用通用过滤:
lsof | grep -iE 'delete|deleted'一般的な出力は以下のとおりです:
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
nginx 12480 root 7w REG 252,1 8589934592 131075 /var/log/nginx/access.log (deleted)出力は明確に示しています:PIDが12480のnginxプロセスが依然としてファイルディスクリプタ7wを使用して、依然として8.5GBの物理領域を占有している削除済みログファイルを保持しています。
3. 容量を安全に回収する二つの方法#
方法A:関連サービスを正常にリロードまたは再起動する(推奨される標準的手法)#
サービスが短時間の再起動を許容できる場合は、プロセスのライフサイクルを直接リセットします:
# 优雅重载服务(如果服务支持重新打开日志文件,如 Nginx 的 reopen)
nginx -s reopen || systemctl reload nginx
# 或直接重启服务以彻底关闭历史文件描述符
systemctl restart nginx方法B:稼働中にプロセスのオープンファイルディスクリプタ経由で切り捨てる(シームレスなゼロダウンタイムアプローチ)#
高スループットゲートウェイ、決済コア、中断できない長期接続など、重要なサービスを再起動できない環境では、Linuxカーネルの擬似ファイルシステム/procを直接使用してプロセスのファイルディスクリプタを特定し、その場で切り捨てることができます:
# 格式规范:: > /proc/<PID>/fd/<FD_NUM>
# 或使用 truncate 命令:truncate -s 0 /proc/<PID>/fd/<FD_NUM>
# 针对前文示例中的 PID 12480 和 FD 7:
: > /proc/12480/fd/7動作原理:リダイレクト操作: >によりアクティブなハンドルへO_TRUNC切り捨てシグナルが送信され、システムは即座に物理データブロックを空きプールに返却してファイルサイズを0バイトに削減します。その間、プロセス自体が無効なハンドルエラーをスローすることはありません。完了後に再度df -hを実行すると、ディスク容量はすぐに正常に戻ります。
六、未然の防止:Logrotateによる自動ローテーションと自己回復の構築#
ディスク満杯で夜中に起こされるのを根本的に防ぐには、ログローテーションとクォータベースのサーキットブレーカーをシステムの日常的なバックグラウンド管理に組み込むことです。
1. 標準的なLogrotateルールの設定#
稼働中のログファイルを直接削除することは重大な運用上の過失です。適切なアプローチは、logrotateを設定して定期的にアーカイブされたログをローテーション、圧縮、移動することです。
/data/app/logsワークロードで実行されているようなカスタムアプリケーション向けに、標準化ルール/etc/logrotate.d/my-appを記述します:
/data/app/logs/*.log {
daily # 每日检查切分
rotate 7 # 仅保留最近 7 份归档
missingok # 若日志文件丢失不抛出报警
notifempty # 文件为空时不执行切分
compress # 使用 gzip 压缩归档文件,削减 90% 存储
delaycompress # 延迟到下一次轮转周期再压缩,保障写入安全
sharedscripts
copytruncate # 关键指令:将源日志截断为 0,而非直接重命名移走,避免产生幽灵句柄
}重要な注意事項
copytruncate:再起動せずにログファイルを再度開くためのHUPシグナルをサポートしていないサービスの場合、copytruncateを宣言する必要があります。これにより、現在のログ内容がバックアップにコピーされ、その直後に元のファイルがその場で切り捨てられるため、プロセスは同じ有効なファイルディスクリプタを保持し続け、ゴーストハンドルを排除できます。
2. Inode枯渇の防止:セッションと一時キャッシュの定期的なクリーンアップ#
寿命の短い小さなファイルが大量に生成されるシステムでは、inodeアラートを待つのではなく、古いファイルの定期的な自動クリーンアップを設定してください。
crontabにライフサイクル管理ロジックを追加します(例えば、/data/cache配下にあって7日以上変更されていないファイルをクリーンアップするなど):
# 编辑 root 定时任务
crontab -e
# 每天凌晨 3:30 执行一次清理,并直接在文件系统层删除,避免一次性载入内存
30 3 * * * find /data/cache/ -type f -mtime +7 -deleteパフォーマンス上の利点:
-delete操作はfindによってカーネルレベルで直接unlinkを実行するため、find ... | xargs rmよりもはるかに効率的であり、引数リストが長すぎることによるArgument list too longエラーが発生することもありません。
七、運用の総仕上げ:よく使われる巡回点検コマンド早見表#
日常の点検プロセスに以下のチェック項目を追加してください:
| トラブルシューティング対象 | 主要なトラブルシューティングコマンド | コアバリュー / ユースケース |
|---|---|---|
| 総容量 | df -hT -x tmpfs -x devtmpfs | どの物理パーティションが満杯かを素早く特定 |
| Inode | df -ihT -x tmpfs -x devtmpfs | ディスクに空き容量があるにもかかわらず「ファイルを作成できません」と表示された場合のInode不足を診断 |
| 大容量ファイルを特定 | du -ahx / 2>/dev/null | sort -rh | head -n 15 | 単一のファイルシステム内で深い階層から順に大きなディレクトリや個別のファイルを検出 |
| 小さなファイルの蓄積 | find / -xdev -type f -printf '%h\n' 2>/dev/null | sort | uniq -c | sort -rn | head -n 15 | 膨大な数の極小ファイルがInode枯渇を引き起こしているディレクトリを特定 |
| ゴーストファイルハンドル | lsof +L1 または lsof | grep -i deleted | 以下の状態にあるものを特定 rm 削除されたものの物理領域が依然としてサービスプロセスに占有されているゾンビファイル |
| オンラインでの切り捨て | : > /proc/<PID>/fd/<FD> | サービスの再起動やダウンタイムを発生させることなく、本番環境で物理ストレージを即座に回収 |
| ログの切り捨て | journalctl --vacuum-size=100M | systemdによって消費された数GBのシステムログを素早く回収 |
アウトオブバンドパネルへのアクセスやファイルシステムの二重診断から、ゴーストファイルハンドルの切り捨て、堅牢なLogrotate管理に至るまで、この手法を習得することで、ハードウェア割り当てが限られた小規模なVPSインスタンスであってもシステムの長期的な安定性が確保され、制御不能なストレージの肥大化によるサービス中断のリスクを排除できます。