本文将搭建基于 PVE + ROS + LEDE 的软路由，因为笔者也是第一次尝试，因此不做过多的解释，仅记录整个配置的流程，如有错误和疏漏欢迎指出，使用到的版本如下所示，所有镜像均来自于官网
- PVE虚拟机：6.3-1
- ROS软路由：6.47.9
- LEDE软路由：2.31
配置ROS的拓扑结构
配置 ROS + LEDE 时的拓扑结构
正常使用时的拓扑图
安装和配置PVE
打开官网下载种子文件，然后下载镜像文件
https://www.proxmox.com/en/downloads
使用ULTRAISO烧录镜像到U盘，需要将写入方式改为RAW
选择U盘启动，即可看到如下画面，本文仅使用键盘操作服务器，按空格选择 Install Proxmox VE（默认）
I agree
选择安装的硬盘，默认格式是 ext4，无需修改，然后下一步
Country 中填入 China ，其他默认，然后下一步
填写 密码 和 邮箱 ，邮箱后面配置时用不到，然后下一步
Management Interface 中选择网口，在软路由没有开启网桥的情况下，只能通过这一个接口访问管理页面， Hostname 中填写节点名称，格式为 xxx.xxx ，如果节点名取为 pve ，可填入 pve.com ，接下来需要选择一个和上下级路由都不会冲突的网段，笔者使用 192.168.60.x 网段，则 IP Address 中填入 PVE 的 IP 地址 192.168.60.2 ，Gateway填入网关地址（即后续设置的 ROS 的 IP 地址）192.168.60.1 ，DNS 地址默认即可
确认设置的都没问题后下一步
等待安装完后下一步
安装完成后会显示登录用的网址，重启系统后也会显示
用网线将 PC 和服务器刚刚设置的网口相连，然后修改 PC 的 IPV4 相关设置如下，使得 PC 和服务器在同一个网段内，其中 IP 地址 可以设置为 192.168.60.3 至 192.168.60.254 中任意不冲突的地址，因为目前只有 PC 一个设备，因此理论上都不会冲突，网关 填写 ROS 地址，DNS 可以设置为 ROS 的 IP 也可以设定为公共 DNS 地址，如 114.114.114.114
在浏览器中完整输入该网址即可登录管理界面（https:// 也需要输入）
点击 继续前往
进入管理界面，先设置语言，会自动刷新一次，然后输入用户名密码，用户名是 root
首先将所有网口添加进虚拟机节点，点击 数据中心 - 虚拟机 - 系统 - 网络 - 创建 - Linux Bridge
将没有被添加到网桥的网络设备的名字复制并填入桥接端口，可以添加备注，方便后续管理
添加完之后如下图所示，名称是一一对应的，可以将上面四个网络设备的开机启动打开，不打开似乎也没有影响
开启直通，可以在 Shell 中通过 nano 或者 vi 来修改 /etc/default/grub 文件，笔者使用 WinSCP 来修改，intel 的 cpu 添加 intel_iommu=on ， amd 的cpu 添加 amd_iommu=on
在 Shell 中输入 update-grub
echo vfio >> /etc/modules
echo vfio_iommu_type1 >> /etc/modules
echo vfio_pci >> /etc/modules
echo vfio_virqfd >> /etc/modules
然后输入
update-initramfs -u -k all
输入
dmesg | grep -e DMAR -e IOMMU -e AMD-Vi
输入 find /sys/kernel/iommu_groups/ -type l
部分设备需要在 /etc/modprobe.d/pve-blacklist.conf
options vfio_iommu_type1 allow_unsafe_interrupts=1
安装RouterOS
如果一切顺利，接下来就可以开始安装 RouterOS 了，下文简称为 ROS
首先去官网下载镜像
https://mikrotik.com/
将镜像文件上传到服务器，点击 数据中心 - 节点 - local(节点名称) - ISO Images ，然后选择文件并上传镜像，如果没出现 ISO Images 按钮，可以刷新一下
点击右上角的 创建虚拟机 后在名称中填入虚拟机的名字，可以自行设定，然后点下一步
在 ISO镜像 选项中选择刚刚上传的镜像，其他保持默认，然后下一步
保持默认然后下一步
总线/设备选择 SATA ，磁盘大小设置为 1GB，然后下一步
CPU相关设置默认即可，然后下一步
内存设置为 512M ，然后下一步
因为需要按顺序添加网络方便管理，所以这里勾选无网络设备，然后下一步
确认信息正确之后点击完成创建虚拟机
点击 数据中心 - 节点 - ROS虚拟机 - 硬件 - 添加 - 网络设备 添加虚拟网卡
可以依次添加或者按想要的顺序添加网卡，笔者选择按顺序添加网卡，模型均选择半虚拟化（非直通）
添加完如图所示
点击选项，双击开机自启动设置为是
点击控制台打开 VNC ，输入 a 全选，输入 i 安装，再输入两次 y 确认，即可开始安装
安装完如下图所示，按回车重启 ROS
重启之后界面如下图所示，之后不需要再使用此界面了
打开官网下载管理软件 Winbox
https://mikrotik.com/download
打开 Winbox 后点击 Neighbors可以发现 ROS ，此时还没有规划 IP 地址，使用的是 MAC 地址登录，后续设置了地址可以用两种方式登录
双击第一行会自动填入 MAC 地址，初始用户名是 admin，密码为空，点击 Connect 连接，点击左边的 Connect To RoMON 是进不去的
进入后会提示仅有 24 小时的试用期，需要购买授权
再回到官网，注册账号，点击 Purchase a RouterOS license key 购买授权，点击 Search and view keys 可以查看已购买的授权，千兆网络购买 L4/P1 授权即可
复制授权码然后点击 Paste Key 粘贴，自动刷新后会显示是 L4 授权
至此ROS已经安装完成，下面进行网络相关配置
配置ROS
1、网卡重命名
在 PVE 下 ROS 节点的硬件界面可以看到每个网卡的 MAC 地址，点击 ROS - Interface 可以看到相同数量的网卡（笔者截图时已经配置了一个网桥），双击打开后可以对网卡进行重命名，方便后续设置， ROS 中网卡的 MAC 地址和 PVE 下的是一一对应的，直接把备注抄一份过来就可以了，如果规划为一个 WAN 口，其余都是 LAN 口，可以将 WAN 口重命名为 WAN ，其他的依次递增 LAN1，LAN2，LAN3……
重命名之后如下图所示，笔者因为有板载网卡和 PCIE 网卡，所以做了简单的区分
2、添加网桥
目的是将所有的 LAN 口连接起来，使得每一个都拥有相同的功能，也就是说在 ROS 网桥正常运行的情况下，可以通过其他网口登录 PVE 的管理页面，后续的所有和 LAN 口相关的配置只需对网桥进行配置即可，点击 Bridge - + - 设置Name - OK，后续设置中名称保持默认也可以
添加完成如下图所示
3、设置 ROS 的 IP 地址
点击 IP - Addresses - + 添加 IP 地址，Address填写 192.168.60.1，Network 填写 192.168.60.0，Interface选择 ros_bridge，如果使用其他网段，修改前面三位即可，即改为 xxx.xxx.xxx.1 和 xxx.xxx.xxx.0
添加后如下图所示
4、设置 DHCP 地址池
点击 IP - Pool - + 添加地址池，最大范围为 xxx.xxx.xxx.2-xxx.xxx.xxx.254 ，因为 ROS 本身占用了一个，为了避开已经分配的 IP 并预留一定的位置，因此本文设置为 192.168.60.10-192.168.10.250 ，如果有其他虚拟机需要使用静态 IP ，建议将 IP 设置到地址池两端，当然直接分配 2-254也是没有问题的， DHCP 时会自动避开已分配的静态 IP 的
设置完如下图所示
5、设置 DHCP 服务器
点击 IP - DHCP Server - + 添加 DHCP 服务器， Interface选择网桥，Lease Time（租约时间）填写 1d 00:00:00 ，即一天，填写 24:00:00 会自动转化成 1d，当然不改也没有问题，默认是十分钟 ，Address Pool 选择地址池，然后点击 Apply， Enable
设置完如下图所示
在当前窗口下点击 Network - +添加 DHCP 网络设置，其中 Address填写第3步中的 Network ，24 表示子网掩码为 255.255.255.0 ，即 192.168.60.0/24 ，因此 Netmask填写 24，Gateway填写第 3 步中的 Address，即 ROS 的 IP 192.168.60.1 ，因为后续将使用 LEDE 的 DHCP 服务器，因此 ROS 仅需要简单设置 DNS 以测试网络连通性即可，在 DNS Servers 中填写一个公共 DNS 即可，如 114.114.114.114
设置完如下图所示
6、设置防火墙
点击 IP - Firewall - NAT - + - Action ，设置 Action为 masquerade即可
设置完如下图所示
7、连通上级路由
因为笔者是作为二级路由使用的，因此 ROS 不需要设置 PPPOE ，直接使用动态地址即可上网，点击 IP - DHCP Client - +添加 DHCP 客户端，Interface选择 WAN口，这也是配置中唯一一个需要设置 WAN 口的地方，然后不勾选 Use Peer DNS ，即不使用上级路由的 DNS ， 点击 Apply， Enable
设置完如下图所示，WAN 口连接上级路由的 LAN 口情况下，等待数秒后便会出现 IP 地址
这时打开第 3 步的 Addresses 界面也会多一行地址
8、将 PC 的 IPV4 恢复为自动获取
修改后等待数秒下面将会出现 ROS 为 PC 分配的 IPV4 地址和 DNS 服务器了，如果设置过程无误，此时就可以上网了
安装和配置LEDE
去官网下载镜像，因为 LEDE 和 OpenWRT 合并了，所以固件名为 OpenWRT ，但 LEDE 比较短，因此下文记为 LEDE
下载这一个可以使用，其他的笔者也没有尝试过，如果读者有星球可以自行尝试，这个版本较老，但是安装完可以升级，所以不用担心
解压后重命名为 openwrt.img ，当然不重命名也可以，文件有 700M+
和安装 ROS 一样，上传镜像到 local（节点名）
上传完如图所示
创建虚拟机，设置节点名称，编号为 101，后续要用到
选择 不使用任何介质
保持默认
保持默认，创建完虚拟机之后会删除硬盘
核心调整为 2 个核心，如果开启的功能较多，可以考虑增加核心数，有些功能还是非常吃 CPU 的
内存设置为 1024MB
虚拟网卡依旧后续添加
确认无误点 完成 创建虚拟机
点击 LEDE - 硬件 - 硬盘 - 分离 分离硬盘
删除硬盘和光驱
双击 任务 - 拷贝数据 ，可以看到目标文件位置
点击 节点 - Shell ，输入命令将镜像转化成虚拟磁盘并导入虚拟机，101 是 LEDE 虚拟机的编号，蓝色的路径为上图中的路径，然后回车
qm importdisk 101 /var/lib/vz/template/iso/openwrt.img local-lvm
导入成功如图所示
点击LEDE - 硬件 - 磁盘 - 编辑 配置磁盘
将磁盘类型设置为 SATA
点击 LEDE - 选项 - 引导顺序 ，勾选新添加的硬盘
和ROS操作相同，依次添加所有的 LAN ，不需要添加 WAN
打开虚拟机电源后，点击 LEDE - 控制台，等待 log 不再刷新时按回车键就可以看到 LEDE 图标了，输入下面的命令修改 LEDE 的 IP 地址为 192.168.60.3 ，读者可以自行设定，修改完按 CTRL + X 后输入 Y 再按回车保存
nano /etc/config/network
service network restart
输入网址 192.168.60.3 即可看到 LEDE 界面了，默认密码是 koolshare，记得改密码
点击 网络 - 接口，删除 WAN 和 WAN6，如果需要的话点击底下的 添加新接口 重新添加即可，然后编辑 LAN
点击 一般设置 - 物理设置 - 接口，将所有 LAN 都勾选（相当于 ROS 的网桥），然后点击 保存
然后点击 基本设置 ，在 IPv4网关 中填入 ROS 的地址 192.168.60.1，在 使用自定义的 DNS 服务器 中填写当前网络环境下最快的 DNS 服务器，可以使用 DNS优选 测试
然后在 DHCP 服务器 中勾选 强制（如果关闭了 ROS 的 DHCP 不勾选强制也可以）
然后打开 Winbox ，关闭（不用删除）DHCP服务器，并且网桥中只用保留 LAN1 （ PVE 后台、 ROS 、 LEDE 共用的网口）即可（可以仅关闭不用删除）
然后拔插网线重新分配 IP ，此时 LEDE - 总览 - 已分配的DHCP租约 中就会多出一个设备了
点击左侧的酷软，会提示更新，点击火速更新
更新成功后点击 未安装，往下滑动找到 固件更新
安装完后打开固件更新，然后点击 开始更新
更新后会有如下提示，但不代表更新失败，刷新网页后如果版本号已经是最新版本，则更新成功
解锁离线安装，在 Shell 中输入下面命令即可
sed -i 's/\tdetect_package/\t# detect_package/g' /koolshare/scripts/ks_tar_install.sh
修改登录密码
至此，LEDE的基本配置已经结束，可以将网线连接不同网口测试是否能正常使用
