<html><head><meta http-equiv="Content-Type" content="text/html charset=us-ascii"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><br class=""><div><blockquote type="cite" class=""><div class="">On Jan 7, 2015, at 2:28 AM, Stephan Budach <<a href="mailto:stephan.budach@JVM.DE" class="">stephan.budach@JVM.DE</a>> wrote:</div><br class="Apple-interchange-newline"><div class="">
  

    <meta http-equiv="content-type" content="text/html; charset=utf-8" class="">
  
  <div text="#000000" bgcolor="#FFFFFF" class="">
    <font face="Helvetica, Arial, sans-serif" class="">Hello everyone,<br class="">
      <br class="">
      I am sharing my zfs via NFS to a couple of OVM nodes. I noticed
      really bad NFS read performance, when rsize goes beyond 128k,
      whereas the performance is just fine at 32k. The issue is, that
      the ovs-agent, which is performing the actual mount, doesn't
      accept or pass any NFS mount options to the NFS server. </font></div></div></blockquote><div><br class=""></div><div>The other issue is that illumos/Solaris on x86 tuning of server-side size settings does</div><div>not work because the compiler optimizes away the tunables. There is a trivial fix, but it</div><div>requires a rebuild.</div><br class=""><blockquote type="cite" class=""><div class=""><div text="#000000" bgcolor="#FFFFFF" class=""><font face="Helvetica, Arial, sans-serif" class="">To give
      some numbers, a rsize of 1mb results in a read throughput of
      approx. 2Mb/s, whereas a rsize of 32k gives me 110Mb/s. Mounting a
      NFS export from a OEL 6u4 box has no issues with this, as the read
      speeds from this export are 108+MB/s regardles of the rsize of the
      NFS mount.<br class=""></font></div></div></blockquote><div><br class=""></div><div>Brendan wrote about a similar issue in the Dtrace book as a case study. See chapter 5</div><div>case study on ZFS 8KB mirror reads.</div><br class=""><blockquote type="cite" class=""><div class=""><div text="#000000" bgcolor="#FFFFFF" class=""><font face="Helvetica, Arial, sans-serif" class="">
      <br class="">
      The OmniOS box is currently connected to a 10GbE port at our core
      6509, but the NFS client is connected through a 1GbE port only.
      MTU is at 1500 and can currently not be upped.<br class="">
      Anyone having a tip, why a rsize of 64k+ will result in such a
      performance drop?<br class=""></font></div></div></blockquote><div><br class=""></div><div>It is entirely due to optimizations for small I/O going way back to the 1980s.</div><div> -- richard</div><br class=""><blockquote type="cite" class=""><div class=""><div text="#000000" bgcolor="#FFFFFF" class=""><font face="Helvetica, Arial, sans-serif" class="">
      <br class="">
      Thanks,<br class="">
      budy<br class="">
    </font>
    <pre class="moz-signature" cols="72"></pre>
  </div>

_______________________________________________<br class="">OmniOS-discuss mailing list<br class=""><a href="mailto:OmniOS-discuss@lists.omniti.com" class="">OmniOS-discuss@lists.omniti.com</a><br class="">http://lists.omniti.com/mailman/listinfo/omnios-discuss<br class=""></div></blockquote></div><br class=""></body></html>