随着NAS使用时间的累积，存储空间越来越紧张是一个必然面临的问题。照片视频文档各种文件堆积如山，其中不乏大量的重复文件——同一张照片存在于相机原始文件夹和相册分类文件夹、同一份文档有多个编辑版本散落在不同位置。今天就来聊聊如何科学地管理NAS上的文件去重和归档策略，在不丢失任何有效数据的前提下最大化存储空间利用率。
理解文件重复的本质与硬链接去重原理
文件重复分为两种情况：完全相同的内容在不同路径下各自保存了一份完整的副本（比如同一段视频在"下载"和"收藏"文件夹各有一份）；以及内容相近但不完全相同（比如同一张RAW格式照片导出了JPG和WEBP两种格式）。针对前者最高效的去重方式不是删除而是使用硬链接（Hard Link）。很多朋友可能不太熟悉这个概念——在Linux/Unix文件系统中文件名只是指向inode数据块的引用（称为链接），一个inode可以被多个文件名同时指向而这些文件名彼此地位平等没有所谓"原件"和"快捷方式"的区别。
当你对一个已有文件创建硬链接后系统并不会额外占用磁盘空间因为两个名字指向的是同一个inode同一份数据块。修改其中一个文件的内容通过另一个名字看到的也会跟着变。只有当所有硬链接都被删除后inode和数据块才会真正释放。这个特性使得硬链接成为文件去重的完美工具。市面上有很多优秀的去重工具都是基于硬链接实现的比如fdupes（命令行工具可以递归扫描目录找出相同文件并用硬链接替换）、rdfind（类似的工具还能按文件大小优先级排序保留你指定的那份）以及图形界面的dupeGuru（跨平台支持模糊匹配）。
Rsync增量同步在归档场景中的威力
去重解决的是空间浪费问题而归档解决的是数据组织问题。好的归档策略应该让活跃数据和不活跃数据分开存放既提升日常访问效率又降低误删风险。Rsync是这个场景下的核心工具——它能智能地只传输源目录和目标目录之间的差异部分（delta encoding算法），第一次全量同步之后后续每次增量同步的速度极快。
典型的归档工作流程可以这样设计：在NAS上划分两个大分区或两个存储池——一个叫"活跃区"用于存放当前正在使用的项目文件和工作文档；另一个叫"冷档案区"用于存放已完成项目的归档数据和超过一年未访问的历史文件。然后写一个rsync脚本定期将活跃区中超过90天未修改的文件移动（mv而非cp）到冷档案区的对应目录结构中。Rsync的--link-dest参数特别有用——它可以指定一个参考目录如果发现目标文件和参考目录中的文件相同就直接创建硬链接而不是重新复制一份。这意味着你可以在做增量备份的同时自动完成去重一举两得。配合--delete参数还能让目标目录和源目录保持完全一致的结构多余的文件会被清理掉。
分层存储与生命周期管理实战
对于数据量更大的场景可以考虑引入分层存储（Tiered Storage）的概念。核心思想是按照数据的访问热度将其分布在不同性能等级的存储介质上——热数据放SSD保证最快访问速度温数据放HDD RAID阵列平衡成本和性能冷数据压缩后放到廉价的大容量硬盘甚至云端对象存储。一些NAS操作系统已经开始原生支持这个功能群晖的Tiering技术威联通的Qtier都是类似的实现。
生命周期管理的自动化可以通过脚本来实现。一个实用的做法是编写一个Python脚本定期扫描特定目录下的文件根据其最后访问时间(atime)和修改时间(mtime)来判断是否需要执行归档操作。判断逻辑可以是：超过180天未访问且超过90天未修改的文件视为"冷数据"候选；先将这些文件列表输出供人工审核确认；确认后批量执行rsync --link-dest归档操作并在原位置留下符号链接(Symbolic Link)方便日后需要时找到。整个过程可以包装成Docker容器配合cron定时执行形成一套全自动的数据温度感知归档系统。别忘了在做任何大规模文件操作前先做一个快照（如果你的文件系统支持Btrfs或ZFS快照的话）万一脚本出了bug删错了文件还能轻松恢复。
评论(0)