矿渣蜗牛星际主机安装PVE+LEDE+DSM实现软路由+NAS

经验总结

1. 开机F7进入引导选择。

2. 群晖存储空间Basic类型可以无损升级到RAID，但是RAID不能降级到Basic，包括RAID1。

3. RAID可以后期无损增加硬盘。

4. 在PVE中增加磁盘大小，群晖中磁盘信息可以看到磁盘实际大小，但是已经分配的存储空间大小不会改变。

5. PVE为群晖虚拟的磁盘可以随意修改挂载方式和挂载编号，不影响系统识别（系统中显示磁盘顺序可能会有变化，但是不影响实际使用）。

6. 群晖磁盘拿下来装到另一同版本群晖中，可以正常识别和使用共享文件夹（文件夹属性可能需要重新设置比如是否启用回收站），提示磁盘修复时实际修复的时磁盘上的系统分区（群晖在每个磁盘上都存了一份系统），修复不影响磁盘数据。

7. 同一存储空间下的不同文件夹移动文件可以迅速完成。

8. Moments手机APP中照片备份“仅上传照片”的意思是不上传视频。该软件只是将文件上传备份，不同步任何一方的删除操作。

9. Moments手机备份照片会按照“Mobile/手机代号/DCIM/拍摄日期”进行归档。

10. 时间轴视图，优先参考EXIF时间，如不存在则参考文件名，最后参考文件修改日期，与文件归档目录结构无关。

11. 手动向Moments文件夹内拷贝文件，可以不考虑文件夹结构，均可正常显示。

12. 安装Plex套件会生成“/volume1/Plex”文件夹用于存储数据，占用空间很大，卸载套件后该文件夹不会自动清理，手动命令也rm无法删除，正确的方法是运行“btrfs subvolume delete /volume1/Plex”。另外还有用户“plex”，群组“video”需要手动删除。

13. 图片转码速度：1000张/90分钟（大约）

14. PVE硬盘直通虚拟机时，使用by-id挂载硬盘，物理机盘位变化，不影响直通到虚拟机的SATA编号。

15. 上述情况下，群晖内硬盘编号也不变。

16. 群晖关机，拔下一块非RAID硬盘再开机后，盘上自己建的共享文件夹会消失，关机插回硬盘后重新开机，共享文件夹恢复正常。

17. 群晖关机，拔下一块非RAID硬盘再开机后，如果盘上有AudioStation关联的共享文件夹“music”，那么会在“存储空间1”自动重建“music”共享文件夹。关机插回硬盘后重新开机，该盘上的文件夹名变成了"music_1"，而且AudioStation不再关联此文件夹。测试如果强行删除系统在“存储空间1”自建的“music”共享文件夹，并将该盘上“music_1”改回“music”，启动Audio程序会提示文件夹不存在，所以只能将“music_1”内文件移动到新的“music”文件夹，程序会自动重建索引。VideoStation有同样情况。

18. 群晖RAID1，关机拔出其中一块硬盘再开机，提示RAID Group堪用。关机原位插入新硬盘再开机，“存储空间管理”里能看到新加的硬盘，尚未添加到任何RAID群组。选择要修复的RAID群组，选择管理-修复-添加磁盘-否，进入修复状态。4TB硬盘几乎满盘，新盘为16TB，凌晨1.30开始修，下午13.46修复完毕。共计用时12小时15分钟，平均3h.4m/TB，90.7M/s。之后把另一块硬盘也换成16TB，修复时间大约7.5小时。但是此时RAID群组空间并未扩容，会继续进行一致性检查，用时大约20小时，之后容量自动完成扩容。

19. 群晖换盘，单盘Basic模式，先在“控制面板-共享文件夹-编辑”里，把此盘上的共享文件夹移动到其他盘，然后关机换上新盘开机，打开“存储空间管理员”，发现此盘原来的RAID和存储空间都丢失了。用新盘新建RAID，然后新建存储空间，两个编号都会自动补前面的缺，而不是从最大往下排。然后把刚才移过去的共享文件夹再移回来就行了。

一、蜗牛BIOS设置

F3读取默认设置
Advanced-OS:Android
Advanced-ACPI Settings-PWRON:Former-Sts
Chipset-North-Intel IGD-DVMT Total:128M
Chipset-North-Intel IGD-Aperture Size:128M

二、安装PVE虚拟机

下载镜像，写入U盘映像。机器连接路由，之后使用U盘启动安装，安装过程参考这里。

装完拔掉U盘重启电脑，等到出现“box login”的时候PVE就装好了。上面一点显示的网址就是管理页面。

浏览器打开管理页面，账号root，密码刚才设置的，语言选择中文，登陆管理界面。

添加另一块网卡：“网络”-“创建”-“Bridge”，设置如图。

三、VM方式安装LEDE

创建虚拟机，名称LEDE，开机自启，不始用介质，2G硬盘（无所谓一会要删除该磁盘），2核CPU，1024M内存，网络模型E1000，取消防火墙。

分离并删除当前硬盘，为虚拟机添加另一块网卡。

下载镜像，选择“虚拟机转盘或PE下写盘专用”，combined版本，解压改名为“lede.img”，下载转盘工具解压。

然后把两个文件用SecureFX上传到PVE，在PVE的SHELL中执行命令“chmod +x img2kvm”，“./img2kvm lede.img 100 vm-100-disk-0”。

更新：可以不用下载工具，直接使用命令“qm importdisk 100 /lede.img local-lvm”

之后在虚拟机配置中会看见“未使用的磁盘”，双击然后直接点“添加”，挂载该磁盘，之后设置从该磁盘启动。

启动该虚拟机，如果启动出错则先重启PVE。然后进入虚拟机LEDE的控制台，等系统启动，出现该界面则LEDE已经启动。（有可能最后会卡住，点下回车即可。）

此时LEDE的默认IP是192.168.1.1，得想个办法访问他，我是用网线直接把笔记本连到LEDE主机实体网络口，然后在网页访问，默认密码“koolshare”。

登陆以后先修改密码，然后修改LAN网段，设置“防火墙-WAN-入站数据-接受”允许通过WAN口访问管理界面，之后再接回原来的网络，就不影响你上网的同时可以配置LEDE了。

LEDE的IPV6设置

: 允许DHCP分配IPV6

: 允许IPV6对外访问，设置前ping IPV6不通，设置以后可以了，http://ipv6.sjtu.edu.cn/也显示用IPV6访问。（测试命令：ping ipv6.sjtu.edu.cn）

: 设置允许向内访问（主要用于BT下载，允许外网访问端口）

: 设置允许向内访问（主要用于BT下载，允许外网访问端口）

LEDE的WEB服务设置

# 配置文件 https://openwrt.org/docs/guide-user/services/webserver/uhttpd
/etc/config/uhttpd

# 重启命令
/etc/init.d/uhttpd restart

LEDE官方手册（部分中文）

四、LXC容器方式安装LEDE

下载omeLEDE LXC版本，FTP登录PVE的SSH，上传镜像文件，在PVE物理机上将镜像转换为PVE模板。

网页进入PVE的SHELL，执行以下命令

gzip -d lede.img.gz
apt install squashfs-tools
unsquashfs lede.img
cd squashfs-root

此时可以调整一些配置文件

./etc/config/network
./etc/config/dhcp
./etc/firewall.user

使用旁路由模式应该先关闭DHCP，方便后续操作

然后打包成模板，利用模板创建容器。注意，这里只能用命令行创建，在WEB界面中创建会出错。

另外注意绑定的网卡，LEDE默认会把虚拟机内的eth0作为LAN网卡。

tar zcf /var/lib/vz/template/cache/lede.rootfs.tar.gz *
pct create 300 local:vztmpl/lede.rootfs.tar.gz --rootfs local-lvm:1 --ostype unmanaged --hostname HomeLEDE --arch amd64 --cores 2 --memory 512 --swap 0 -net0 name=eth0,bridge=vmbr0

五、LEDE设置旁路由

经过测试，网络上一些文章要配置防火墙等等都是错的，经测试以下方法简单有效。

安装LEDE前虚拟机配置为单网卡，装好后默认只有LAN口没有WAN口。
配置LAN口的IP、网关、DNS。
LAN口DHCP配置，基本配置-忽略接口，IPv6-禁用所有。
网络-防火墙，关闭“SYN-flood 防御”。
保存、应用、重启。

六、安装黑群晖

新建虚拟机，名称DSM，开机自启，不用介质，2G硬盘（无所谓一会要删除该磁盘），2核（J1900一共四核，刚才LEDE分了2核，群晖用剩余2核），内存2G（一会把剩余的内存都分给群晖，但是现在不知道剩余多少，不是4G-1G那么简单，因为有部分内存被BIOS分给了集显），网卡选LEDE的LAN口网卡，网卡选E1000（某些支持virtio驱动的引导可以选VirtIO半虚拟网卡，否则不能启动引导），建立后分离并删除磁盘。

下载3615XS引导文件和对应系统，和安装LEDE一样，将引导文件上传到PVE，始用命令“./img2kvm boot.img 101 vm-101-disk-0”转盘。

PVE中双击新磁盘改为SATA模式添加，修改启动引导为转盘这个磁盘。

再添加磁盘用于安装DSM系统，SATA，6G（群晖最小要求，再小会报错35格式化失败）

启动虚拟机，进入如下界面，等一两分钟让系统彻底启动。

电脑安装群晖“Synology Assistant”软件，搜索到群晖主机，自动弹开浏览器页面进入安装，选择手动安装选择本地.pat系统文件开始安装，版本需要与引导对应，之后重启要等挺长时间，有点耐心。

七、物理磁盘直通群晖

进入PVE的SHELL，输入以下命令：

# 更新源
apt-get update
~~# 安装lshw~~
~~apt-get install lshw~~
~~# 按照磁盘ID列出磁盘~~
~~lshw -C storage -C disk~~
# 按照磁盘ID列出磁盘
ls -l /dev/disk/by-id/
# 直通挂载硬盘
# 类型：ide/sata/scsi/virtio
# 编号：磁盘编号（所有类型统一增量编号），例如虚拟机硬件中磁盘属性“local-lvm:vm-101-disk-1”，最后的“1”就是编号，添加新硬盘要增加此值
# qm set <虚拟机ID> --<类型><编号> <路径>
qm set 101 --sata2 /dev/disk/by-id/ata-WDC_WD30EZRX-*****

八、群晖安装软件

添加第三方源：套件中心-设置-套件来源-添加以下

# 按照网上那个大列表测试目前只有这几个好用
SynoCommunity http://packages.synocommunity.com （一般就这一个就行了，支持HTTPS）
http://packages.pcloadletter.co.uk
http://www.cphub.net
http://synology.sysco.ch
http://packages.quadrat4.de
http://synology.acmenet.ru
https://packages.jdel.org
http://spk.unzureichende.info

配置文件解压密码：@------@

迅雷远程（废了）：Docker-“yinheli/docker-thunder-xware”

Caddy：Docker-“abiosoft/caddy”

Aria2：Docker-“wahyd4/aria2-ui”

qbittorrent：Docker-“linuxserver/qbittorrent”

Transmission：Docker-"linuxserver/transmission"

uTorrent: Docker-"ekho/utorrent"

九、群晖安装SSL证书

更简单的自动方式：相关脚本

手工方式：

1. 打开SSL FOR FREE，域名填写“c-dd.online *.c-dd.online *.dsm.c-dd.online *.dev.c-dd.online *.home.c-dd.online”。

2. 按要求填写TXT解析记录，等待解析生效。可以使用下面的“Verify ***”链接验证。

3. 生成并下载证书，打开DSM控制面板-安全性-证书，导入证书，设为默认。之后点击“配置”，把相关服务设为新导入的证书。

十、PVE给群晖挂载ESATA硬盘

与物理硬盘直通类似，只不过ESATA的硬盘总在换，ID不是唯一，所以这里通过接口挂在硬盘直通。进入PVE的SHELL，输入以下命令：

# 更新源
apt-get update
# 按照物理接口列出磁盘
ls -l /dev/disk/by-path/
# 直通挂载接口
# 类型：ide/sata/scsi/virtio
# 编号：磁盘编号（所有类型统一增量编号），例如虚拟机硬件中磁盘属性“local-lvm:vm-101-disk-1”，最后的“1”就是编号，添加新硬盘要增加此值
# qm set <虚拟机ID> --<类型><编号> <路径>
qm set 101 --sata5 /dev/disk/by-path/pci-0000:******

然后进入群晖“存储空间管理员”，查看要修改为ESATA的硬盘编号，之后进入SHELL修改群晖配置文件，指定哪块盘是ESATA磁盘。

# 查看参数当前值
cat /etc.defaults/synoinfo.conf | grep maxdisks
cat /etc.defaults/synoinfo.conf | grep esataportcfg
cat /etc.defaults/synoinfo.conf | grep internalportcfg
# maxdisks：最多硬盘数量 esataportcfg：ESATA磁盘标识 internalportcfg：内部磁盘标识
# 具体数值转换为二进制，从最低位开始对应硬盘编号1，值1代表是，0代表不是。
# 举例：esataportcfg默认值“0xff000”=11111111000000000000，表示磁盘12~1都不是ESATA（前面8位不知道含义忽略）。
# 举例：internalportcfg默认值“0xfff”=111111111111，表示磁盘12~1都是内置硬盘。
# 举例：磁盘6为外置ESATA硬盘，esataportcfg值改为“0xff020”=11111111000000100000，internalportcfg值改为“0xfdf”=111111011111，maxdisks一般不用动。
sudo -i
vi /etc.defaults/synoinfo.conf
vi /etc/synoinfo.conf
# esataportcfg : line 273 267
# internalportcfg : line 291 285
# 然后重启电脑

注意1：因为PVE本身原因，如果设置了挂载ESATA硬盘，但是群晖虚拟机开机时ESATA未插盘，会开机失败PVE日志显示硬盘不存在。检查发现未插硬盘时，“/dev/disk/by-path/pci-0000:******”对应的接口也不存在，插上硬盘以后即可开机。

注意2：热插拔以后如果换其他盘，必须关闭虚拟机群晖再开机才能认盘（重启不行）。经观察发现“/dev/disk/by-path/pci-0000:******”实际是映射到“../../sd*”的，后面才是真实路径，热插拔换盘以后，真实路径变了，但是虚拟机如果不关机，映射关系不会变，所以在虚拟机里边找不到新盘。虚拟机关机后映射关系会自动指向新盘，所以再开机就可以了。

总结

1. 用于PVE转盘的文件和转盘生成的文件都可以删除

2. 经测试VirtIO网卡确实是半双工，但即使半双工，大流量时也比纯虚拟的E1000快得多，E1000实测约等于半双工500M，所以群晖还是使用VirtIO靠谱。而LEDE作为路由器，因为外网才100M，所以选哪个都可以。

3. 各版本引导对系统及硬件的支持关系

4. 目前只有这个修改版引导支持VirtIO网卡驱动，支持3617xs-6.1.x版本。引导时如果不能自动获取IP，先设置网卡为E1000，装好系统后再改为VirtIO。

5. 要设置虚拟硬盘支持SSD TRIM，可以用VirtIO SCSI挂载，或者在选项中启用SSD仿真。

For the guest to be able to issue TRIM commands, you must either use a VirtIO SCSI (or VirtIO SCSI Single) controller or set the SSD emulation option on the drive.

群晖在存储空间设置中，可以启用SSD TRIM。

6. 安装PVE时，磁盘空间的分配说明

首先理解LVM的含义：多个物理磁盘的多个物理分区(PV)通过系统底层集合成一个逻辑磁盘(VG)，对于上层来说他就相当于是一块普通磁盘，在这个盘上可以划分逻辑分区(LV)，同样对于上层来说就和普通分区一样。LVM技术主要用于解决分区大小受物理盘容量限制的问题，可以多盘聚合到一起使用。

PVE使用LVM系统，在物理磁盘上占用一部分空间（默认除了1,2分区外的全部空间），生成逻辑磁盘(VG)，命名为“pve”，在其中划分出以下逻辑分区(LV)：“swap”：虚拟内存；“root”：系统；“data”：数据。

PVE安装完成后，可以在shell下通过pvdisplay、vgdisplay、lvdisplay命令来查看磁盘已分配的物理分区(PV)、逻辑磁盘(VG)、逻辑分区(LV)的详细信息。

hdsize：VG [默认物理磁盘全部剩余空间] 逻辑磁盘整体尺寸，可以只用物理磁盘部分空间，留出一部分以备它用。
swapsize：LV [默认=内存大小，可选4G~(8G|LVM/8)] 相当于Windows的虚拟内存，内存超了就缓存在这
maxroot：LV [默认=LVM/4，最大=LVM/4] 管理界面中的“local”空间，用于安装PVE系统、上传ISO文件、保存备份文件、模板（不知道是啥）。
maxvz：LV [hdsize - swapsize - rootsize - minfree] 管理界面中的“local-lvm”空间，用于存放虚拟磁盘、快照。
minfree：逻辑磁盘(VG)中保留的自由空间。LVM系统需要自由空间用于创建快照（lvmthin系统不用）。

7. PVE虚拟机下的SATA磁盘最多可以挂载6个(0~5)，所以为了尽可能多的留出SATA直通接口，引导盘可以选择IDE或SCSI，其他虚拟磁盘也可选择IDE(SCSI未测试)。

8. emby不能更新插件，后来发现是启用IPV6以后无法访问服务器。插件资料库：“https://www.mb3admin.com/admin/service/EmbyPackages.json”，插件下载服务器：“https://embydata.com/”，需要保证这两个域名正常访问。必要时可以考虑在etc/hosts中添加解析记录。

9. 媒体中心emby/jellyfin/plex功能对比，参见此表格（2019.07.16）。

参考资料

群晖官方在线使用手册

DSM引导原发论坛

DSM引导合集

https://koolshare.cn/forum.php?mod=viewthread&tid=159314

https://post.smzdm.com/p/768830/

https://koolshare.cn/forum.php?mod=viewthread&tid=127369

https://koolshare.cn/forum.php?mod=viewthread&tid=159731

https://post.smzdm.com/p/a83d5mv6/

PVE开启IOMMU实现硬件直通（当前未使用）