<div dir="ltr">Again, this is what I just have laying around with no tuning.  Again switching from the terrible KVM e1000 driver to the KVM virtio driver with FreeBSD as the guest.<div><br></div><div><ul class=""><li class="">
Network Test</li>
<ul class="">
<li class="">Test used: simple scp from machine on same rack</li>
<ul class="">
<li class="">Old (e1000) = ubuntu-12.04.1-server-amd64.iso        100%  657MB   6.4MB/s   01:42</li>
<li class="">New (virtio) = ubuntu-12.04.1-server-amd64.iso        100%  657MB  34.6MB/s   00:19</li>
</ul>
</ul>
</ul><div style>I'm willing to bet someone has more extensive testing than me.  This was just a stupid simple test I did to see if the change made a difference.  For my general use in testing Riak I found that network/fs is way way faster on illumos KVM than AWS even when untuned.  Also it is not so much slower than the global zone that it affects general performance.  If I was making a cluster dedicated to just writing files fast, then I'd personally go with OmniOS or SmartOS directly, but if you have other linux needs anyway, it is reasonable in my view.  Theo or Eric might have more insightful answer since their job is run stuff like this in production.</div>
</div><div style><br></div><div style>FWIW, I used to run all this stuff on virtualbox and had so so so many problems I couldn't take it anymore.</div><div style><br></div><div style>-Jared</div></div><div class="gmail_extra">
<br><br><div class="gmail_quote">On Tue, May 28, 2013 at 2:13 PM, Geoff Nordli <span dir="ltr"><<a href="mailto:geoffn@gnaa.net" target="_blank">geoffn@gnaa.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

  
    
  
  <div bgcolor="#FFFFFF" text="#000000"><div class="im">
    <div>On 13-05-28 12:19 PM, Jared Morrow
      wrote:<br>
    </div>
    </div><blockquote type="cite">
      <div dir="ltr">
        <div style="line-height:1.2;color:rgb(34,34,34);font-size:1em;font-family:Helvetica,arial,freesans,clean,sans-serif;border:none"><div class="im">
          <p style="margin:1em 0px">The only performance numbers I
            really have lying around are from when I changed over a
            centos 5 VM to the virtio driver. I just did a simple bonnie
            test with a 2gb file and limited it to use 1gb of ram (on
            two cpu's). I don't have numbers offhand for some other
            uses.</p>
          <br>
          </div><div class="im"><pre style="font-size:0.85em;font-family:Consolas,Inconsolata,Courier,monospace;font-size:1em;line-height:1.2em;overflow:auto;margin:1em 0px"><code style="font-size:0.85em;font-family:Consolas,Inconsolata,Courier,monospace;margin:0px 0.15em;padding:0px 0.3em;white-space:nowrap;border:1px solid rgb(234,234,234);background-color:rgb(248,248,248);border-top-left-radius:3px;border-top-right-radius:3px;border-bottom-right-radius:3px;border-bottom-left-radius:3px;display:inline;white-space:pre-wrap;border-top-left-radius:3px;border-top-right-radius:3px;border-bottom-right-radius:3px;border-bottom-left-radius:3px;border:1px solid rgb(204,204,204);padding:0.5em 0.7em;display:block;padding:0.5em;background-color:rgb(253,246,227);color:rgb(101,123,131);background-repeat:initial initial">[buildbot@riak-test-centos-5 ~]$ /usr/sbin/bonnie++ -d fstest/ -r 1000 -s 2000
Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
riak-test-cen 2000M 33582  64 66872   8 24244   3 75227  24 <b>3723163</b>  99 546.8   0
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 15421  26 +++++ +++ +++++ +++ 18583  55 +++++ +++ +++++ +++
riak-test-centos-5,2000M,33582,64,66872,8,24244,3,75227,24,3723163,99,546.8,0,16,15421,26,+++++,+++,+++++,+++,18583,55,+++++,+++,+++++,+++</code></pre>
          <p style="margin:1em 0px"><span style="font-size:1em;line-height:1.2">As you can see, the
              change was quite dramatic.  </span></p>
        </div></div>
      </div>
    </blockquote>
    <br>
    The 3,723,163 for reading is pretty good. It must be pulling that
    out of the ARC from the host machine.  <br>
    <br>
    Any ideas on network throughput? <br>
    <br>
    thanks,<br>
    <br>
    Geoff <br>
    <br>
  </div>

<br>_______________________________________________<br>
OmniOS-discuss mailing list<br>
<a href="mailto:OmniOS-discuss@lists.omniti.com">OmniOS-discuss@lists.omniti.com</a><br>
<a href="http://lists.omniti.com/mailman/listinfo/omnios-discuss" target="_blank">http://lists.omniti.com/mailman/listinfo/omnios-discuss</a><br>
<br></blockquote></div><br></div>