CLI创建并使用KVM

在虚拟机中搭建KVM实验环境并实现KVM虚拟机之间的网络通信及分布式网站架构.实验中直接使用命令行界面实现虚拟机中系统的安装和配置,免去了图形化界面操作的步骤.系统安装完成之后配置虚拟网卡,配置虚拟网段及实现远程连接,分布式网站中跳板机的设置及ip过滤,模拟了一个小型网站的架构后期可以使用docker来替代KVM以实现更好的实验效果.

整个实验从配置环境到安装虚拟机,配置软件环境,配置网络通信等方面实现了KVM虚拟机环境配置的需求.

1.检测是否支持KVM
KVM 是基于 x86 虚拟化扩展(Intel VT 或者 AMD-V) 技术的虚拟机软件，所以查看 CPU 是否支持 VT 技术，
就可以判断是否支持KVM。有返回结果，如果结果中有vmx（Intel）或svm(AMD)字样，就说明CPU的支持的。切记
在VMware CPU选项下点击CPU虚拟化
# cat /proc/cpuinfo | egrep 'vmx|svm'
关闭 Selinux 和 firewalld 
# vi /etc/sysconfig/selinux
selinux=disabled

# systemctl stop firewalld
# systemctl disabled firewalld
# iptables -F
# iptables -vnL

2.安装KVM环境
yum -y install qemu-kvm python-virtinst libvirt libvirt-python virt-manager libguestfs-tools bridge-utils virt-install kvm acpid
装载 kvm 模块
# modprobe kvm
# lsmod | grep kvm
开启KVM服务,并设置开机自动启动
systemctl start acpid.service
systemctl enable acpid.service
systemctl start libvirtd.service
systemctl enable libvirtd.service

3.安装虚拟机
kvm创建虚拟机，特别注意.iso镜像文件一定放到/home 或者根目录重新创建目录，不然会因为权限报
错，无法创建虚拟机。
首先要创建一个虚拟网桥br0,无法创建的话就删除网卡原来的配置文件,然后重新生成(记得备份)
# virsh iface-bridge ens33 br0
然后开始创建虚拟机
创建虚拟机之前最好先把网桥设好并规划好网段,这样下次再创建虚拟机的时候可以直接连接到网桥上.


# virt-install \
--name=centos7C1 \
--vcpus=2 \
--memory=4096 \
--location=/tmp/CentOS-7-x86_64-Minimal-1511.iso \
--disk path=/home/vms/c1/centosC1.qcow2,size=40,format=qcow2 \
--network bridge=br0 \
--graphics none \
--extra-args='console=ttyS0' \
--force

选项参考:
name: 虚拟机名
vcpus: 虚拟cpu数量
memory: 虚拟内存大小
location: ios文件路径
没有的话可以手动在 ftp 服务器上下载:
# wget ftp://172.20.0.1/pub/ISOs/CentOS/CentOS-7-x86_64-Minimal-1511.iso
disk path: 虚拟机安装位置
network bridge: 网桥名称
graphics: 图形界面

4.命令行配置系统:
上面创建虚拟机命令最终需要你配置系统基础设置，带 [!] 基本都是要配置的，按照顺序往下配置，
按对用的数字以此进行设置。
Installation

 1) [x] Language settings                 2) [!] Timezone settings
        (English (United States))                (Timezone is not set.)
 3) [!] Installation source               4) [!] Software selection
        (Processing...)                          (Processing...)
 5) [!] Installation Destination          6) [x] Kdump
        (No disks selected)                      (Kdump is enabled)
 7) [ ] Network configuration             8) [!] Root password
        (Not connected)                          (Password is not set.)
 9) [!] User creation
        (No user will be created)
  Please make your choice from above ['q' to quit | 'b' to begin installation |
  'r' to refresh]:
  
>2 Timezone settings 时区设置选择 5) Asia亚洲，再选择城市 62) Shanghai上海

Available regions
 1)  Africa                 6)  Atlantic              10)  Pacific
 2)  America                7)  Australia             11)  US
 3)  Antarctica             8)  Europe                12)  Etc
 4)  Arctic                 9)  Indian
 5)  Asia
Please select the timezone.
Use numbers or type names directly [b to region list, q to quit]: 5
--------------------

 8)  Baghdad               35)  Kathmandu             61)  Seoul
 9)  Bahrain               36)  Khandyga              62)  Shanghai
10)  Baku                  37)  Kolkata               63)  Singapore
26)  Hong_Kong             53)  Pontianak
27)  Hovd
Please select the timezone.
Use numbers or type names directly [b to region list, q to quit]: 62

Installation source 安装源输入数字2
Choose an installation source type.
 1)  CD/DVD
 2)  local ISO file
 3)  Network
  Please make your choice from above ['q' to quit | 'c' to continue |
  'r' to refresh]: 2
  
Software selection 软件选择:
Base environment
Software selection

Base environment

 1)  [x] Minimal Install
  Please make your choice from above ['q' to quit | 'c' to continue |
  'r' to refresh]:
  
Installation Destination 安装目的地
Installation Destination

[x] 1) : 40 GiB (vda)

1 disk selected; 40 GiB capacity; 40 GiB free ...

  Please make your choice from above ['q' to quit | 'c' to continue |
  'r' to refresh]: c


Autopartitioning Options 自动分区选项

[ ] 1) Replace Existing Linux system(s) 替换现有的Linux系统

[x] 2) Use All Space 使用所有空间

[ ] 3) Use Free Space 使用可用空间

================================================================================
Partition Scheme Options 分区方案选项

[ ] 1) Standard Partition 标准分区

[ ] 2) Btrfs Btrfs

[x] 3) LVM LVM(逻辑卷管理)

[ ] 4) LVM Thin Provisioning 精简配置

Select a partition scheme configuration.

  Please make your choice from above ['q' to quit | 'c' to continue |
  'r' to refresh]: c

然后输入8录入root账户的密码
  
此处也可以只设置 Root 密码和Installation Destination 安装目的地其它进入系统设置比如时区设置如下：
echo "TZ='Asia/Shanghai'; export TZ" >> /etc/profile  

选择完成后输入 b 就可以开始安装系统了.
安装完成之后默认是在桌面环境的.直接登录并操作即可.

安装完成之后第一次启动网卡eth0是获取不到ip地址的,所以需要手动启动
# vi /etc/sysconfig/network-scripts/ifcfg-eth0 
ONBOOT=yes

# systemctl restart network
# ip a
查看到ip地址之后最好将ip地址固定下来,方便以后使用
# vi /etc/sysconfig/network-scripts/ifcfg-eth0 
BOOTPROTO=static
IPADDR=172.20.124.138


5.添加第一个网桥之后还需要对网桥进行控制划分其他的网段
# brctl show
# cd /etc/libvirt/qemu/networks
# cp default.xml mynet1.xml 

拷贝完成之后需要对配置文件进行修改如修改网桥名称,划分子网范围
# vi mynet1.xml 
<network>
  <name>mynet1</name>
  <bridge name='mybr1' stp='on' delay='0'/>
  <ip address='12.20.20.40' netmask='255.255.255.0'>
    <dhcp>
      <range start='12.20.20.12' end='12.20.20.100'/>
    </dhcp>
  </ip>
</network>

配置文件修改完成之后即可创建网桥
# virsh net-create mynet1.xml
查看虚拟网桥信息
# virsh net-list

6.VM虚拟机添加网卡并配置网络
1>手动添加网桥并插入虚拟机
# virsh domiflist centos7C1
Interface  Type       Source     Model       MAC
-------------------------------------------------------
vnet0      bridge     br0        virtio      52:54:00:8c:b8:60

2>成功附加接口
# virsh attach-interface centos7C1 --type bridge --source br0 

永久添加网卡命令
# virsh attach-interface centos7C1 --type bridge --source br0  --config

3>查看添加网卡的信息
# virsh domiflist centos7C1
Interface  Type       Source     Model       MAC
-------------------------------------------------------
vnet0      bridge     br0        virtio      52:54:00:8c:b8:60
vnet1      bridge     br0        -           52:54:00:14:86:cf
在KVM中查看添加的信息:
ip a

4>命令行增加的网卡只保存在内存中，重启就失效，所以需要保存到配置文件中
# virsh dumpxml centos7C1 >/etc/libvirt/qemu/centos7C1.xml 
# virsh define /etc/libvirt/qemu/centos7C1.xml 

删除网卡命令

# virsh detach-interface centos7C1  --type bridge --mac  52:54:00:14:86:cf
成功分离接口

7.克隆KVM虚拟机,创建虚拟机镜像.
暂停原始虚拟机
# virsh shutdown centos72
# virt-clone -o centos72 -n centos.112 -f /home/vms/centos.112.qcow2 -m 00:00:00:00:00:01

复制第一次安装的干净系统镜像，作为基础镜像文件，
后面创建虚拟机使用这个基础镜像
cp /home/vms/centos.88.qcow2 /home/vms/centos7.base.qcow2

# 使用基础镜像文件，创建新的虚拟机镜像
cp /home/vms/centos7.base.qcow2 /home/vms/centos7.113.qcow2

8.热插拔网卡实现切换网桥
查看当前宿主机网卡的状态
# brctl show
查看KVM虚拟机的运行状态
# virsh list
查看KVM虚拟机网卡列表
# virsh domiflist centos7C1

添加一个网卡到物理桥myBr1上
# virsh attach-interface centos7C1 bridge myBr1
撤销网卡，撤销网卡前先关闭网卡
# ip link set dev ens10 down
注意：撤销某一块网卡要指定该网卡的MAC，要不会撤销该网卡所在网桥上所有的网卡
# virsh detach-interface centos7C1 bridge --mac 52:54:00:f1:22:5b

9.分布式部署LAMP
9.1 HTTPD的实现
# yum -y install httpd
修改主配置文件，把php的首页加上
# vi httpd.conf 
<IfModule dir_module>
    DirectoryIndex index.php index.html
</IfModule>

新建虚拟主机文件,对php文件做解析的服务器的地址可以暂时不写.等软件部署成功之后再补上.
[root@web-server conf.d]# vi www.conf
<VirtualHost *:80>
        ServerName  www.dklwj.com
        DocumentRoot "/vhosts/www/htdocs"
        <Directory "/vhosts/www/htdocs">
                Options FollowSymLinks
                AllowOverride None
                Require all granted
        </directory>
    ProxyRequests Off
    ProxyPassMatch ^/(.*\.php)$ fcgi://192.168.137.147:9000/vhosts/www/htdocs/$1
</VirtualHost>

创建虚拟主机的目录
# mkdir /vhosts/www/htdocs -p
修改目录的所属组的权限为apache
# chown -R apache.apache /vhosts/
# cd /vhosts/www/htdocs
# echo "<h1>It works!!</h1>" > ./index.html

启动http服务,查看80端口有没有被监听.
# systemctl start httpd            
# ss -tnl 
State      Recv-Q Send-Q  Local Address:Port                 Peer Address:Port              
LISTEN     0      128                 *:22                              *:*                  
LISTEN     0      100         127.0.0.1:25                              *:*                  
LISTEN     0      128                :::80                             :::*                  
LISTEN     0      128                :::22                             :::*                  
LISTEN     0      100               ::1:25                             :::*  

服务启动之后可以在本机上查看访问html网页的效果,这里就不修改 hosts 文件来实现域名的跳转了
# curl 192.168.100.233/index.html

9.2 php-fpm的实现
安装php-fpm 和php-mysql模块
# yum -y install php-fpm php-mysql

修改配置文件
# vim /etc/php-fpm.d/www.conf 
#作为单独服务运行需要把监听端口改成所有接口，http后续会使用反代
listen = 0.0.0.0:9000  
#只允许192.168.137.144这台服务器也就是http服务器
listen.allowed_clients = 192.168.100.233
 
创建php程序存放路径
# mkdir /vhosts/www/htdocs -p

进入目录然后创建一个php测试页面
# cd /vhosts/www/htdocs/
# vim info.php
<?php
        phpinfo();
?>

启动PHP服务
# systemctl start php-fpm

测试对php网页的反向代理是否可以实现
# curl 192.168.100.233/info.php

9.3 MariaDB的实现
# yum -y install mariadb-server

#配置mariadb禁止解析反向IP地址
# vi /etc/my.cnf
[mysqld]
skip_name_resolve=on

修改mysql的root密码然后删除匿名用户
[root@mysql-server ~]# mysql
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 2
Server version: 5.5.56-MariaDB MariaDB Server
Copyright (c) 2000, 2017, Oracle, MariaDB Corporation Ab and others.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
MariaDB [(none)]> use mysql
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
MariaDB [mysql]> update user set password=password('123456') where user='root';
Query OK, 4 rows affected (0.00 sec)
Rows matched: 4  Changed: 4  Warnings: 0
MariaDB [mysql]> flush privileges;
Query OK, 0 rows affected (0.00 sec)
MariaDB [mysql]> drop user ''@'localhost';
Query OK, 0 rows affected (0.00 sec)
MariaDB [mysql]> drop user ''@'mysql-server';
Query OK, 0 rows affected (0.00 sec)
MariaDB [mysql]> select user,host,password from user;
+------+--------------+-------------------------------------------+
| user | host         | password                                  |
+------+--------------+-------------------------------------------+
| root | localhost    | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |
| root | mysql-server | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |
| root | 127.0.0.1    | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |
| root | ::1          | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |
+------+--------------+-------------------------------------------+
4 rows in set (0.00 sec)

在php服务器上创一个测试一个连接数据库的页面
[root@php-server /vhosts/www/htdocs]#vim mysql.php
<?php
$link=mysql_connect("192.168.137.148","root","123456");  
if(!$link) echo "FAILD,Error!";
else echo "OK.......!";

测试对php访问数据库模块是否可以正常工作
# curl 192.168.100.233/mysql.php

9.4部署WordPress软件

在php服务器上下载WordPress包，这里需要强调一下，目录需要添加写权限要不然回出现文件无法写入的情况.
# cd /vhosts/www/
wordpress文件自行在官网下载
# tar xf wordpress-4.9.4-zh_CN.tar.gz
删除原有存放网页的 htdoc 文件夹并将其以软连接形式呈现
# rm -rf htdocs/
# ln -sv wordpress htdocs

在把软件包复制一份到http上去里面静态资源需要由HTTP来处理所以两台服务器得各放一份
# scp -r wordpress root@192.168.137.144:/vhosts/www/

在数据库服务器上创建所需要的库和帐号
MariaDB [(none)]> create database blog;
Query OK, 1 row affected (0.01 sec)
MariaDB [(none)]> grant all on blog.* to 'wpuser'@'%' identified by 'wppass';
Query OK, 0 rows affected (0.00 sec)
MariaDB [(none)]> flush privileges;
Query OK, 0 rows affected (0.00 sec)

在HTTP服务器上配置
# cd /vhosts/www
# ls
htdocs  index.html  wordpress
# rm -rf htdocs/
# ln -s wordpress/ htdocs
# ll 
lrwxrwxrwx. 1 root   root     10 Oct 29 21:51 htdocs -> wordpress/
drwxr-xr-x. 5 root   root   4096 Oct 29 21:50 wordpress
# cd ..
# chown -R apache.apache www/
# ll 
lrwxrwxrwx. 1 apache apache   10 Oct 29 21:51 htdocs -> wordpress/
drwxr-xr-x. 5 apache apache 4096 Oct 29 21:50 wordpress

部署完成之后即可在浏览器上访问然后配置wordpress了,配置步骤不明白的可自行google,注意在php服务器上添加
/vhosts/www/wordpress/wp-config.php 这个文件,这是wordpress的配置文件.

10.隐藏真实主机网络访问控制
现在我们一共有4台KVM虚拟机,DB服务器和php服务器不能暴露在外网环境中而实现操控和访问的httpd服务器和跳板
机反而要对外实现通信,因此需要对网络进行设置
10.1 网桥的准备工作
之前已经设置好了可以访问外网桥街的br0,接下需要新建两个内网通信的网桥
# cd /etc/libvirt/qemu/networks/
# brctl show
# cp default.xml mynet1.xml
# vi mynet1.xml
<network>
  <name>mynet1</name>
  <bridge name='mybr1' stp='on' delay='0'/>
  <ip address='10.10.10.1' netmask='255.255.255.0'>
    <dhcp>
      <range start='10.10.10.10' end='10.10.10.100'/>
    </dhcp>
  </ip>
</network>

# virsh net-create mynet1.xml 
# cp mynet1.xml mynet2.xml 
# vi mynet2.xml 

<network>
  <name>mynet2</name>
  <bridge name='mybr2' stp='on' delay='0'/>
  <ip address='20.20.20.1' netmask='255.255.255.0'>
    <dhcp>
      <range start='20.20.20.20' end='20.20.20.100'/>
    </dhcp>
  </ip>
</network>

# virsh net-create mynet2.xml 
10.2为虚拟机配置网桥
主要是对网卡的插拔操作,上文中有提到如何热插拔网卡实现切换网桥
# virsh attach-interface centos7C1 --type bridge --source mybr1
# virsh attach-interface centos7C2 --type bridge --source mybr2
# virsh detach-interface centos7C2 --type bridge --mac 52:54:00:9c:0f:b4
# virsh attach-interface centos7C3 --type bridge --source mybr2
# virsh detach-interface centos7C3 --type bridge --mac 52:54:00:16:a8:a6
# virsh attach-interface centos7C4 --type bridge --source mybr2
# virsh attach-interface centos7C4 --type bridge --source mybr1

网桥插拔完成之后对虚拟机的网络接入情况进行查看:
[root@localhost vms]# virsh domiflist centos7C1
Interface  Type       Source     Model       MAC
-------------------------------------------------------
vnet0      bridge     br0        virtio      52:54:00:13:29:30
vnet5      bridge     mybr1      rtl8139     52:54:00:a9:b8:6c

[root@localhost vms]# virsh domiflist centos7C2
Interface  Type       Source     Model       MAC
-------------------------------------------------------
vnet1      bridge     mybr1      virtio      52:54:00:f6:c9:d0
vnet6      bridge     mybr2      rtl8139     52:54:00:87:f1:0d

[root@localhost vms]# virsh domiflist centos7C3
Interface  Type       Source     Model       MAC
-------------------------------------------------------
vnet2      bridge     mybr2      rtl8139     52:54:00:1e:ab:d6

[root@localhost vms]# virsh domiflist centos7C4
Interface  Type       Source     Model       MAC
-------------------------------------------------------
vnet4      bridge     br0        virtio      52:54:00:6f:fa:c7
vnet3      bridge     mybr2      rtl8139     52:54:00:78:ea:44
vnet7      bridge     mybr1      rtl8139     52:54:00:c4:61:9b 

查看网桥及网卡的连接情况:
# brctl show
bridge name     bridge id               STP enabled     interfaces
br0             8000.000c29120c94       yes             ens33
                                                        vnet0
                                                        vnet4
mybr1           8000.525400c30ff7       yes             mybr1-nic
                                                        vnet1
                                                        vnet5
                                                        vnet7
mybr2           8000.525400dc598f       yes             mybr2-nic
                                                        vnet2
                                                        vnet3
                                                        vnet6
virbr0          8000.525400a975d4       yes             virbr0-nic
 
然后按照下面定义的网络地址来配置虚拟机的网络,网卡名有改变,但是不影响操作.
Mysql(C3)
ens8:20.20.20.35
FPM(C2)
ens9:20.20.20.63
eth0:10.10.10.12
HTTPD(C1)
eth8:10.10.10.95
eth1:172.20.124.138
JUMPS(C4):16.40.40.80
ens9:10.10.10.73 e78fde6e-933c-4ee4-851b-4b4a5fe7e744
ens8:20.20.20.87 8bad1d1e-2247-4c54-a4e0-60094beddcdd
eth0:172.20.124.151
网桥设置:
mybr1(host only):
ip:10.10.10.1/24
dhcp range:10.10.10.10 10.10.10.100
mybr2(host only):
ip:20.20.20.1/24
dhcp range:20.20.20.20 20.20.20.100
br0(nat):
ip:192.168.122.1/24
dhcp range: 192.168.122.2 192.168.122.254
这样设置的话不同的主机就存在与不同的网域中,外界就没法直接访问敏感服务器咯.

跳板机的网络设置

mysql iptables rule
	允许跳板机的ssh
      iptables -A INPUT -d 10.10.20.20 -s 10.10.20.100 -p tcp --dport 22 -j ACCEPT
      iptables -A OUTPUT -s 10.10.20.20 -d 10.10.20.100 -p tcp --sport 22 -j ACCEPT
    拒绝所有连接
     iptables -A INPUT -j DROP
     iptables -A OUTPUT -j DROP
    允许php的IP连接数据库
     iptables -I INPUT -d 10.10.20.20 -s 10.10.20.30 -p tcp --dport 3306 -j ACCEPT 
     iptables -I OUTPUT -s 10.10.20.20 -d 10.10.20.30 -p tcp --sport 3306 -j ACCEPT    	

PHP iptables rule
   允许跳板机的ssh
     iptables -A INPUT -d 172.30.20.30 -s 172.30.20.100 -p tcp --dport 22 -j ACCEPT
     iptables -A OUTPUT -s 172.30.20.30 -d 172.30.20.100 -p tcp --sport 22 -j ACCEPT

    拒绝所有连接
     iptables -A INPUT -j ACCEPT
     iptables -A OUTPUT -j ACCEPT

    允许httpd的反代端口9000通过
	# iptables -I INPUT -d 172.30.20.30 -s 172.30.20.152 -p tcp --dport 9000 -j ACCEPT
	# iptables -I OUTPUT -s 172.30.20.30 -d 172.30.20.152 -p tcp --sport 9000 -j ACCEPT 
      
	# iptables -I OUTPUT -d 10.10.20.20 -s 10.10.20.30 -p tcp --dport 3306 -j ACCEPT
	# iptables -I INPUT -d 10.10.20.30 -s 10.10.20.20 -p tcp --sport 3306 -j ACCEPT


HTTPD iptables rule
 允许跳板机的ssh
    # iptables -A INPUT -d 172.30.20.152 -s 172.30.20.100 -p tcp --dport 22 -j ACCEPT
    #iptables -A OUTPUT -s 172.30.20.152 -d 172.30.20.100 -p tcp --sport 22 -j ACCEPT
 拒绝所有连接
    # iptables -A INPUT -j DROP
    # iptables -A OUTPUT -j DROP
 允许客户端通过外网接口访问80和443接口
 	进口配置
    # iptables -I INPUT -d 192.168.137.152 -i eth0 -p tcp -m multiport --dports 80,443 -j ACCEPT
   出口设置
    # iptables -I OUTPUT -s 192.168.137.152 -o eth0 -p tcp -m multiport --sports 80,443 -j ACCEPT

   允许http能连接到后端的PHP服务器的9000端口
    # iptables -I OUTPUT -d 172.30.20.30 -s 172.30.20.152 -p tcp --dport 9000 -j ACCEPT
    # iptables -I INPUT -d 172.30.20.152 -s 172.30.20.30 -p tcp --sport 9000 -j ACCEPT


补充:
使用dhcp分配网络地址之后没有相应的网络配置文件
解决方案:
1.使用nmcli con show命令，查看网卡的UUID信息，记下UUID值
# nmcli con show
2.使用ip addr命令查看网卡信息，记下ens37网卡的MAC地址
3.将 /etc/sysconfig/network-scripts/目录中ifcfg-ens33文件复制一份，并命名为 ifcfg-ens37，
重新修改配置文件，注意修改必要的硬件信息
4.最后重启网络即可
# systemctl restart network