<div dir="ltr"><div>Hi,</div><div><br></div><div>i am testing a new plateform with OmniosCe with 7 VM on zvol with ISCSI comstar.</div><div><br></div><div>I have set sync=always for all zvol and i have 2 ssd intel 3700 for zil and two mirror ssd for data.</div><div><br></div><div>Data Disk are samsung 850 evo (ashift=13).<br></div><div><br></div><div>My problem is that the pool commit to data disk approximatively 5MB every 5 second but i have only few data is write on zil (sync=always on zvol) and my 7 vm are only up with no disk activity.</div><div><br></div><div>With 40 VM with no disk activity on it, i flush to data disk approximatively 30 MB every 5 seconds.<br></div><div><br></div><div>How can i write a lot of data on data disk without network iscsi trafic and no disk activity on VM and no disk activity on zil ? What type of data is it (metadata ?) ?<br></div><div><br></div><div> zpool status<br> pool: filervm2<br> state: ONLINE<br> scan: resilvered 0 in 0h0m with 0 errors on Mon Jun 4 17:46:40 2018<br>config:<br><br> NAME STATE READ WRITE CKSUM<br> filervm2 ONLINE 0 0 0<br> mirror-0 ONLINE 0 0 0<br> c0t5002538E40102BECd0 ONLINE 0 0 0<br> c0t5002538E40264251d0 ONLINE 0 0 0<br> logs<br> mirror-1 ONLINE 0 0 0<br> c0t55CD2E404B73F8F1d0 ONLINE 0 0 0<br> c0t55CD2E404C270DD9d0 ONLINE 0 0 0</div><div><br></div><div>iostat -xn -d 1 :<br></div><div><br></div><div> extended device statistics <br> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device<br> 2,0 39,4 80,6 2014,5 0,2 0,0 5,4 0,4 0 1 filervm2<br> 0,0 0,9 0,3 12,1 0,1 0,0 89,9 3,7 0 0 rpool<br> 0,0 0,5 0,1 6,0 0,0 0,0 0,0 3,4 0 0 c0t55CD2E414D2D4782d0<br> 0,0 0,5 0,1 6,0 0,0 0,0 0,0 3,4 0 0 c0t55CD2E414D2D4713d0<br> 0,0 14,5 0,0 476,5 0,0 0,0 0,0 0,4 0 0 c0t55CD2E404B73F8F1d0<br> 0,0 8,9 0,0 476,5 0,0 0,0 0,0 0,3 0 0 c0t55CD2E404C270DD9d0<br> 1,0 11,0 40,3 530,8 0,0 0,0 0,0 0,2 0 0 c0t5002538E40102BECd0<br> 1,0 11,0 40,3 530,8 0,0 0,0 0,0 0,2 0 0 c0t5002538E40264251d0<br> extended device statistics <br> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device<br> 0,0 20,0 0,0 304,0 0,0 0,0 0,0 0,2 0 0 filervm2<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4782d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4713d0<br> 0,0 20,0 0,0 152,0 0,0 0,0 0,0 0,1 0 0 c0t55CD2E404B73F8F1d0<br> 0,0 10,0 0,0 152,0 0,0 0,0 0,0 0,1 0 0 c0t55CD2E404C270DD9d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40102BECd0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40264251d0<br> extended device statistics <br> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4782d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4713d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E404B73F8F1d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E404C270DD9d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40102BECd0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40264251d0<br> extended device statistics <br> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device<br> 0,0 212,1 0,0 9826,4 1,9 0,1 8,8 0,3 3 3 filervm2<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4782d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4713d0<br> 0,0 11,0 0,0 56,0 0,0 0,0 0,0 0,1 0 0 c0t55CD2E404B73F8F1d0<br> 0,0 5,0 0,0 56,0 0,0 0,0 0,0 0,1 0 0 c0t55CD2E404C270DD9d0<br> 0,0 101,0 0,0 4857,2 0,0 0,0 0,0 0,2 0 2 c0t5002538E40102BECd0<br> 0,0 105,0 0,0 4857,2 0,0 0,0 0,0 0,2 0 2 c0t5002538E40264251d0<br> extended device statistics <br> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device<br> 0,0 38,0 0,0 735,5 0,0 0,0 0,0 0,2 0 0 filervm2<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4782d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4713d0<br> 0,0 37,0 0,0 367,7 0,0 0,0 0,0 0,1 0 0 c0t55CD2E404B73F8F1d0<br> 0,0 19,0 0,0 367,7 0,0 0,0 0,0 0,1 0 0 c0t55CD2E404C270DD9d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40102BECd0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40264251d0<br> extended device statistics <br> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device<br> 0,0 8,0 0,0 64,0 0,0 0,0 0,0 0,2 0 0 filervm2<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4782d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4713d0<br> 0,0 8,0 0,0 32,0 0,0 0,0 0,0 0,1 0 0 c0t55CD2E404B73F8F1d0<br> 0,0 4,0 0,0 32,0 0,0 0,0 0,0 0,1 0 0 c0t55CD2E404C270DD9d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40102BECd0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40264251d0<br> extended device statistics <br> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device<br> 0,0 4,0 0,0 32,0 0,0 0,0 0,0 0,2 0 0 filervm2<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4782d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4713d0<br> 0,0 4,0 0,0 16,0 0,0 0,0 0,0 0,1 0 0 c0t55CD2E404B73F8F1d0<br> 0,0 2,0 0,0 16,0 0,0 0,0 0,0 0,1 0 0 c0t55CD2E404C270DD9d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40102BECd0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40264251d0<br> extended device statistics <br> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4782d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4713d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E404B73F8F1d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E404C270DD9d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40102BECd0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40264251d0<br> extended device statistics <br> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device<br> 0,0 239,1 0,0 11491,4 2,6 0,1 10,9 0,3 3 3 filervm2<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4782d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4713d0<br> 0,0 1,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E404B73F8F1d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E404C270DD9d0<br> 0,0 118,0 0,0 5745,7 0,0 0,0 0,0 0,2 0 2 c0t5002538E40102BECd0<br> 0,0 125,0 0,0 5745,7 0,0 0,0 0,0 0,2 0 2 c0t5002538E40264251d0<br> extended device statistics <br> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4782d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4713d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E404B73F8F1d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E404C270DD9d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40102BECd0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40264251d0<br> extended device statistics <br> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4782d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4713d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E404B73F8F1d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E404C270DD9d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40102BECd0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40264251d0<br> extended device statistics <br> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4782d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4713d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E404B73F8F1d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E404C270DD9d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40102BECd0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40264251d0<br> extended device statistics <br> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device<br> 0,0 18,0 0,0 272,1 0,0 0,0 0,0 0,5 0 0 filervm2<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4782d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4713d0<br> 0,0 18,0 0,0 136,0 0,0 0,0 0,0 0,1 0 0 c0t55CD2E404B73F8F1d0<br> 0,0 9,0 0,0 136,0 0,0 0,0 0,0 0,2 0 0 c0t55CD2E404C270DD9d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40102BECd0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40264251d0<br> extended device statistics <br> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device<br> 0,0 168,0 0,0 6336,8 0,9 0,1 5,4 0,3 2 3 filervm2<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4782d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4713d0<br> 0,0 15,0 0,0 96,0 0,0 0,0 0,0 0,1 0 0 c0t55CD2E404B73F8F1d0<br> 0,0 7,0 0,0 96,0 0,0 0,0 0,0 0,1 0 0 c0t55CD2E404C270DD9d0<br> 0,0 76,0 0,0 3072,4 0,0 0,0 0,0 0,2 0 2 c0t5002538E40102BECd0<br> 0,0 82,0 0,0 3072,4 0,0 0,0 0,0 0,2 0 2 c0t5002538E40264251d0<br> extended device statistics <br> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4782d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4713d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E404B73F8F1d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E404C270DD9d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40102BECd0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40264251d0<br> extended device statistics <br> r/s w/s kr/s kw/s wait actv wsvc_t asvc_t %w %b device<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 filervm2<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 rpool<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4782d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E414D2D4713d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E404B73F8F1d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t55CD2E404C270DD9d0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40102BECd0<br> 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0 0 c0t5002538E40264251d0</div><div><br></div><div>zfs get all filervm2/hdd-110133a<br>NAME PROPERTY VALUE SOURCE<br>filervm2/hdd-110133a type volume -<br>filervm2/hdd-110133a creation mer. juin 20 17:38 2018 -<br>filervm2/hdd-110133a used 1,80G -<br>filervm2/hdd-110133a available 860G -<br>filervm2/hdd-110133a referenced 2,28G -<br>filervm2/hdd-110133a compressratio 1.74x -<br>filervm2/hdd-110133a origin filervm2/template-ha-centos7-64bits@template1 -<br>filervm2/hdd-110133a reservation none default<br>filervm2/hdd-110133a volsize 25G local<br>filervm2/hdd-110133a volblocksize 64K -<br>filervm2/hdd-110133a checksum on default<br>filervm2/hdd-110133a compression lz4 local<br>filervm2/hdd-110133a readonly off default<br>filervm2/hdd-110133a copies 1 default<br>filervm2/hdd-110133a refreservation none default<br>filervm2/hdd-110133a primarycache all default<br>filervm2/hdd-110133a secondarycache all default<br>filervm2/hdd-110133a usedbysnapshots 150M -<br>filervm2/hdd-110133a usedbydataset 1,65G -<br>filervm2/hdd-110133a usedbychildren 0 -<br>filervm2/hdd-110133a usedbyrefreservation 0 -<br>filervm2/hdd-110133a logbias latency default<br>filervm2/hdd-110133a dedup off default<br>filervm2/hdd-110133a mlslabel none default<br>filervm2/hdd-110133a sync always local<br>filervm2/hdd-110133a refcompressratio 1.67x -<br>filervm2/hdd-110133a written 6,21M -<br>filervm2/hdd-110133a logicalused 3,09G -<br>filervm2/hdd-110133a logicalreferenced 3,81G -<br>filervm2/hdd-110133a snapshot_limit none default<br>filervm2/hdd-110133a snapshot_count none default<br>filervm2/hdd-110133a redundant_metadata all default<br><br></div><div><br></div><div>Best regards,</div><div><br></div><div>Anthony<br></div><div><br></div><div><br></div></div>