[OmniOS-discuss] Fwd: Zvol write a lot of data

anthony omnios icoomnios at gmail.com
Fri Jun 22 08:11:59 UTC 2018


Thanks for you reply.

I am writing very few data on zil:

 ./zilstat.ksh -t 5
TIME                    N-Bytes  N-Bytes/s N-Max-Rate    B-Bytes  B-Bytes/s
B-Max-Rate    ops  <=4kB 4-32kB >=32kB
2018 Jun 21 17:58:53     106560      21312     106560     860160
172032     860160      8      0      0      8
2018 Jun 21 17:58:58       2288        457       2288     262144
52428     262144      2      0      0      2
2018 Jun 21 17:59:03    1949816     389963    1935408    5373952
1074790    4456448     41      0      0     41
2018 Jun 21 17:59:08          0          0          0          0
0          0      0      0      0      0
2018 Jun 21 17:59:13          0          0          0          0
0          0      0      0      0      0
2018 Jun 21 17:59:18        888        177        888     131072
26214     131072      1      0      0      1
2018 Jun 21 17:59:23     414512      82902     414512    1310720
262144    1310720     10      0      0     10
2018 Jun 21 17:59:28       2288        457       2288     262144
52428     262144      2      0      0      2
2018 Jun 21 17:59:33       8568       1713       8568     131072
26214     131072      1      0      0      1
2018 Jun 21 17:59:38      31272       6254      31272     393216
78643     393216      3      0      0      3
2018 Jun 21 17:59:43        888        177        888     131072
26214     131072      1      0      0      1
2018 Jun 21 17:59:48          0          0          0          0
0          0      0      0      0      0
2018 Jun 21 17:59:53     548384     109676     548384    3223552
644710    3223552     44      0      0     44
2018 Jun 21 17:59:58       2288        457       2288     262144
52428     262144      2      0      0      2
2018 Jun 21 18:00:03     405088      81017     305456    2433024
486604    1122304     20      0      0     20

Do you know why i am writing lot of data on disk pool (my 7 VMS are only
online without write opération), not on zil ssd (but sync=always ! ).

With 40 VM with no disk activity on it, i flush to data disk
approximatively 30 MB every 5 seconds. What type of data is it (metadata ?)
How can i readuce data write on disks ?

Best regards


2018-06-21 14:51 GMT+02:00 Linda Kateley <lkateley at kateley.com>:

> You should be able to get zilstat(just google) and get much more details
> on what is happening in zil.
>
> I haven't done this for awhile in omni, but I increase the transaction
> timeout in freebsd or linux quite often. The 5 seconds is set by a
> variable. Put this into /etc/system and reboot.
>
> *set zfs:zfs_txg_timeout = 1*
>
> Quite often with zfs you won't see disk activity. That is it's beauty. All
> of what you need is probably running from ram.
>
> Linda
>
>
> On 6/21/18 5:50 AM, anthony omnios wrote:
>
> Hi,
>
> i am testing a new plateform with OmniosCe with 7 VM on zvol with ISCSI
> comstar.
>
> I have set sync=always for all zvol and  i have 2 ssd intel 3700 for zil
> and two mirror ssd for data.
>
> Data Disk are samsung 850 evo (ashift=13).
>
> My problem is that the pool commit to data disk approximatively 5MB every
> 5 second but i have only few data is write on zil (sync=always on zvol) and
> my 7 vm are only up with no disk activity.
>
> With 40 VM with no disk activity on it, i flush to data disk
> approximatively 30 MB every 5 seconds.
>
> How can i write a lot of data on data disk without network iscsi trafic
> and no disk activity on VM and no disk activity on zil ? What type of data
> is it (metadata ?) ?
>
>  zpool status
>   pool: filervm2
>  state: ONLINE
>   scan: resilvered 0 in 0h0m with 0 errors on Mon Jun  4 17:46:40 2018
> config:
>
>         NAME                       STATE     READ WRITE CKSUM
>         filervm2                   ONLINE       0     0     0
>           mirror-0                 ONLINE       0     0     0
>             c0t5002538E40102BECd0  ONLINE       0     0     0
>             c0t5002538E40264251d0  ONLINE       0     0     0
>         logs
>           mirror-1                 ONLINE       0     0     0
>             c0t55CD2E404B73F8F1d0  ONLINE       0     0     0
>             c0t55CD2E404C270DD9d0  ONLINE       0     0     0
>
> iostat -xn -d 1 :
>
>      extended device statistics
>     r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
>     2,0   39,4   80,6 2014,5  0,2  0,0    5,4    0,4   0   1 filervm2
>     0,0    0,9    0,3   12,1  0,1  0,0   89,9    3,7   0   0 rpool
>     0,0    0,5    0,1    6,0  0,0  0,0    0,0    3,4   0   0
> c0t55CD2E414D2D4782d0
>     0,0    0,5    0,1    6,0  0,0  0,0    0,0    3,4   0   0
> c0t55CD2E414D2D4713d0
>     0,0   14,5    0,0  476,5  0,0  0,0    0,0    0,4   0   0
> c0t55CD2E404B73F8F1d0
>     0,0    8,9    0,0  476,5  0,0  0,0    0,0    0,3   0   0
> c0t55CD2E404C270DD9d0
>     1,0   11,0   40,3  530,8  0,0  0,0    0,0    0,2   0   0
> c0t5002538E40102BECd0
>     1,0   11,0   40,3  530,8  0,0  0,0    0,0    0,2   0   0
> c0t5002538E40264251d0
>                     extended device statistics
>     r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
>     0,0   20,0    0,0  304,0  0,0  0,0    0,0    0,2   0   0 filervm2
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4782d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4713d0
>     0,0   20,0    0,0  152,0  0,0  0,0    0,0    0,1   0   0
> c0t55CD2E404B73F8F1d0
>     0,0   10,0    0,0  152,0  0,0  0,0    0,0    0,1   0   0
> c0t55CD2E404C270DD9d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40102BECd0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40264251d0
>                     extended device statistics
>     r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4782d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4713d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E404B73F8F1d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E404C270DD9d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40102BECd0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40264251d0
>                     extended device statistics
>     r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
>     0,0  212,1    0,0 9826,4  1,9  0,1    8,8    0,3   3   3 filervm2
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4782d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4713d0
>     0,0   11,0    0,0   56,0  0,0  0,0    0,0    0,1   0   0
> c0t55CD2E404B73F8F1d0
>     0,0    5,0    0,0   56,0  0,0  0,0    0,0    0,1   0   0
> c0t55CD2E404C270DD9d0
>     0,0  101,0    0,0 4857,2  0,0  0,0    0,0    0,2   0   2
> c0t5002538E40102BECd0
>     0,0  105,0    0,0 4857,2  0,0  0,0    0,0    0,2   0   2
> c0t5002538E40264251d0
>                     extended device statistics
>     r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
>     0,0   38,0    0,0  735,5  0,0  0,0    0,0    0,2   0   0 filervm2
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4782d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4713d0
>     0,0   37,0    0,0  367,7  0,0  0,0    0,0    0,1   0   0
> c0t55CD2E404B73F8F1d0
>     0,0   19,0    0,0  367,7  0,0  0,0    0,0    0,1   0   0
> c0t55CD2E404C270DD9d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40102BECd0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40264251d0
>                     extended device statistics
>     r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
>     0,0    8,0    0,0   64,0  0,0  0,0    0,0    0,2   0   0 filervm2
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4782d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4713d0
>     0,0    8,0    0,0   32,0  0,0  0,0    0,0    0,1   0   0
> c0t55CD2E404B73F8F1d0
>     0,0    4,0    0,0   32,0  0,0  0,0    0,0    0,1   0   0
> c0t55CD2E404C270DD9d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40102BECd0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40264251d0
>                     extended device statistics
>     r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
>     0,0    4,0    0,0   32,0  0,0  0,0    0,0    0,2   0   0 filervm2
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4782d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4713d0
>     0,0    4,0    0,0   16,0  0,0  0,0    0,0    0,1   0   0
> c0t55CD2E404B73F8F1d0
>     0,0    2,0    0,0   16,0  0,0  0,0    0,0    0,1   0   0
> c0t55CD2E404C270DD9d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40102BECd0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40264251d0
>                     extended device statistics
>     r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4782d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4713d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E404B73F8F1d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E404C270DD9d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40102BECd0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40264251d0
>                     extended device statistics
>     r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
>     0,0  239,1    0,0 11491,4  2,6  0,1   10,9    0,3   3   3 filervm2
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4782d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4713d0
>     0,0    1,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E404B73F8F1d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E404C270DD9d0
>     0,0  118,0    0,0 5745,7  0,0  0,0    0,0    0,2   0   2
> c0t5002538E40102BECd0
>     0,0  125,0    0,0 5745,7  0,0  0,0    0,0    0,2   0   2
> c0t5002538E40264251d0
>                     extended device statistics
>     r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4782d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4713d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E404B73F8F1d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E404C270DD9d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40102BECd0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40264251d0
>                     extended device statistics
>     r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4782d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4713d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E404B73F8F1d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E404C270DD9d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40102BECd0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40264251d0
>                     extended device statistics
>     r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4782d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4713d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E404B73F8F1d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E404C270DD9d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40102BECd0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40264251d0
>                     extended device statistics
>     r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
>     0,0   18,0    0,0  272,1  0,0  0,0    0,0    0,5   0   0 filervm2
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4782d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4713d0
>     0,0   18,0    0,0  136,0  0,0  0,0    0,0    0,1   0   0
> c0t55CD2E404B73F8F1d0
>     0,0    9,0    0,0  136,0  0,0  0,0    0,0    0,2   0   0
> c0t55CD2E404C270DD9d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40102BECd0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40264251d0
>                     extended device statistics
>     r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
>     0,0  168,0    0,0 6336,8  0,9  0,1    5,4    0,3   2   3 filervm2
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4782d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4713d0
>     0,0   15,0    0,0   96,0  0,0  0,0    0,0    0,1   0   0
> c0t55CD2E404B73F8F1d0
>     0,0    7,0    0,0   96,0  0,0  0,0    0,0    0,1   0   0
> c0t55CD2E404C270DD9d0
>     0,0   76,0    0,0 3072,4  0,0  0,0    0,0    0,2   0   2
> c0t5002538E40102BECd0
>     0,0   82,0    0,0 3072,4  0,0  0,0    0,0    0,2   0   2
> c0t5002538E40264251d0
>                     extended device statistics
>     r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4782d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4713d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E404B73F8F1d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E404C270DD9d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40102BECd0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40264251d0
>                     extended device statistics
>     r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 filervm2
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0 rpool
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4782d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E414D2D4713d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E404B73F8F1d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t55CD2E404C270DD9d0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40102BECd0
>     0,0    0,0    0,0    0,0  0,0  0,0    0,0    0,0   0   0
> c0t5002538E40264251d0
>
> zfs get all filervm2/hdd-110133a
> NAME                  PROPERTY              VALUE
>                                      SOURCE
> filervm2/hdd-110133a  type                  volume
>                                      -
> filervm2/hdd-110133a  creation              mer. juin 20 17:38
> 2018                                            -
> filervm2/hdd-110133a  used                  1,80G
>                                      -
> filervm2/hdd-110133a  available             860G
>                                      -
> filervm2/hdd-110133a  referenced            2,28G
>                                      -
> filervm2/hdd-110133a  compressratio         1.74x
>                                      -
> filervm2/hdd-110133a  origin                filervm2/template-ha-centos7-6
> 4bits at template1  -
> filervm2/hdd-110133a  reservation           none
>                                      default
> filervm2/hdd-110133a  volsize               25G
>                                      local
> filervm2/hdd-110133a  volblocksize          64K
>                                      -
> filervm2/hdd-110133a  checksum              on
>                                      default
> filervm2/hdd-110133a  compression           lz4
>                                      local
> filervm2/hdd-110133a  readonly              off
>                                      default
> filervm2/hdd-110133a  copies                1
>                                      default
> filervm2/hdd-110133a  refreservation        none
>                                      default
> filervm2/hdd-110133a  primarycache          all
>                                      default
> filervm2/hdd-110133a  secondarycache        all
>                                      default
> filervm2/hdd-110133a  usedbysnapshots       150M
>                                      -
> filervm2/hdd-110133a  usedbydataset         1,65G
>                                      -
> filervm2/hdd-110133a  usedbychildren        0
>                                      -
> filervm2/hdd-110133a  usedbyrefreservation  0
>                                      -
> filervm2/hdd-110133a  logbias               latency
>                                      default
> filervm2/hdd-110133a  dedup                 off
>                                      default
> filervm2/hdd-110133a  mlslabel              none
>                                      default
> filervm2/hdd-110133a  sync                  always
>                                      local
> filervm2/hdd-110133a  refcompressratio      1.67x
>                                      -
> filervm2/hdd-110133a  written               6,21M
>                                      -
> filervm2/hdd-110133a  logicalused           3,09G
>                                      -
> filervm2/hdd-110133a  logicalreferenced     3,81G
>                                      -
> filervm2/hdd-110133a  snapshot_limit        none
>                                      default
> filervm2/hdd-110133a  snapshot_count        none
>                                      default
> filervm2/hdd-110133a  redundant_metadata    all
>                                      default
>
>
> Best regards,
>
> Anthony
>
>
>
>
> _______________________________________________
> OmniOS-discuss mailing listOmniOS-discuss at lists.omniti.comhttp://lists.omniti.com/mailman/listinfo/omnios-discuss
>
>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <https://omniosce.org/ml-archive/attachments/20180622/52ea270b/attachment-0001.html>


More information about the OmniOS-discuss mailing list