john, <br><br>when a daemon goes into a bad state, it doesn't just stutter, but stops working completely; however, other daemon in the cluster still functions correctly.<br><br>i did some further testing and the massive drops only occur btw these two servers.&nbsp; if i used spsend and sprecv against any one of this server and another machine not defined in the segment, the drop comes down to the amount you specified.&nbsp; so the drops is somehow confined to this segment.&nbsp; will need to do some more digging.<br><br>looking at sptmonitor output, the "retrans" to "sent pack" seems high. do you think there is a network issue or configuration problem?<br><br><br><br>============================<br>Status at as-phl-cbiis4 V 3.17. 3 (state 1, gstate 1) after 74354 seconds :<br>Membership&nbsp; :&nbsp; 4&nbsp; procs in 2 segments, leader is as-ny-cbapps2<br>rounds&nbsp;&nbsp; :&nbsp;&nbsp; 42454&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; tok_hurry :&nbsp;&nbsp;
 38124&nbsp;&nbsp;&nbsp;&nbsp; memb change:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9<br>sent pack:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; recv pack :&nbsp;&nbsp;&nbsp; 3040&nbsp;&nbsp;&nbsp;&nbsp; retrans&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>u retrans:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; s retrans :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; b retrans&nbsp; :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>My_aru&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp; 2745&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Aru&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp; 2745&nbsp;&nbsp;&nbsp;&nbsp; Highest seq:&nbsp;&nbsp;&nbsp; 2745<br>Sessions :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Groups&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 33&nbsp;&nbsp;&nbsp;&nbsp; Window&nbsp;&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 60<br>Deliver M:&nbsp;&nbsp;&nbsp;
 1595&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Deliver Pk:&nbsp;&nbsp;&nbsp; 3048&nbsp;&nbsp;&nbsp;&nbsp; Pers Window:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 15<br>Delta Mes:&nbsp;&nbsp;&nbsp; 1595&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Delta Pack:&nbsp;&nbsp;&nbsp; 2745&nbsp;&nbsp;&nbsp;&nbsp; Delta sec&nbsp; :&nbsp;&nbsp; 74354<br>==================================<br><br>Monitor&gt;<br>============================<br>Status at as-phl-cbiis1 V 3.17. 4 (state 1, gstate 1) after 73908 seconds :<br>Membership&nbsp; :&nbsp; 4&nbsp; procs in 2 segments, leader is as-ny-cbapps2<br>rounds&nbsp;&nbsp; :&nbsp;&nbsp; 21796&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; tok_hurry :&nbsp;&nbsp; 37928&nbsp;&nbsp;&nbsp;&nbsp; memb change:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4<br>sent pack:&nbsp;&nbsp;&nbsp; 1708&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; recv pack :&nbsp;&nbsp;&nbsp; 1137&nbsp;&nbsp;&nbsp;&nbsp; retrans&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp; 1291<br>u retrans:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 37&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; s
 retrans :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; b retrans&nbsp; :&nbsp;&nbsp;&nbsp; 1254<br>My_aru&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp; 2745&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Aru&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp; 2745&nbsp;&nbsp;&nbsp;&nbsp; Highest seq:&nbsp;&nbsp;&nbsp; 2745<br>Sessions :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Groups&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 56&nbsp;&nbsp;&nbsp;&nbsp; Window&nbsp;&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 60<br>Deliver M:&nbsp;&nbsp;&nbsp; 1595&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Deliver Pk:&nbsp;&nbsp;&nbsp; 2944&nbsp;&nbsp;&nbsp;&nbsp; Pers Window:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 15<br>Delta Mes:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Delta Pack:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; Delta sec&nbsp; :&nbsp;&nbsp;&nbsp;
 -446<br>==================================<br><br>Monitor&gt;<br>============================<br>Status at as-ny-cbsql3 V 3.17. 3 (state 1, gstate 1) after 74106 seconds :<br>Membership&nbsp; :&nbsp; 4&nbsp; procs in 2 segments, leader is as-ny-cbapps2<br>rounds&nbsp;&nbsp; :&nbsp;&nbsp; 42313&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; tok_hurry :&nbsp;&nbsp; 37997&nbsp;&nbsp;&nbsp;&nbsp; memb change:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 6<br>sent pack:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; recv pack :&nbsp;&nbsp;&nbsp; 3072&nbsp;&nbsp;&nbsp;&nbsp; retrans&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>u retrans:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; s retrans :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; b retrans&nbsp; :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>My_aru&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp; 2745&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Aru&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp;
 2745&nbsp;&nbsp;&nbsp;&nbsp; Highest seq:&nbsp;&nbsp;&nbsp; 2745<br>Sessions :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Groups&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 19&nbsp;&nbsp;&nbsp;&nbsp; Window&nbsp;&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 60<br>Deliver M:&nbsp;&nbsp;&nbsp; 1595&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Deliver Pk:&nbsp;&nbsp;&nbsp; 3040&nbsp;&nbsp;&nbsp;&nbsp; Pers Window:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 15<br>Delta Mes:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Delta Pack:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; Delta sec&nbsp; :&nbsp;&nbsp;&nbsp;&nbsp; 198<br>==================================<br><br>Monitor&gt;<br>============================<br>Status at as-ny-cbapps2 V 3.17. 4 (state 1, gstate 1) after 73982 seconds :<br>Membership&nbsp; :&nbsp; 4&nbsp; procs in 2 segments, leader is as-ny-cbapps2<br>rounds&nbsp;&nbsp; :&nbsp;&nbsp;
 21797&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; tok_hurry :&nbsp;&nbsp; 37970&nbsp;&nbsp;&nbsp;&nbsp; memb change:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4<br>sent pack:&nbsp;&nbsp;&nbsp; 1145&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; recv pack :&nbsp;&nbsp;&nbsp; 1714&nbsp;&nbsp;&nbsp;&nbsp; retrans&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp;&nbsp; 739<br>u retrans:&nbsp;&nbsp;&nbsp;&nbsp; 109&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; s retrans :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 37&nbsp;&nbsp;&nbsp;&nbsp; b retrans&nbsp; :&nbsp;&nbsp;&nbsp;&nbsp; 593<br>My_aru&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp; 2745&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Aru&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp; 2745&nbsp;&nbsp;&nbsp;&nbsp; Highest seq:&nbsp;&nbsp;&nbsp; 2745<br>Sessions :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 20&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Groups&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 56&nbsp;&nbsp;&nbsp;&nbsp; Window&nbsp;&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 60<br>Deliver M:&nbsp;&nbsp;&nbsp;
 1595&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Deliver Pk:&nbsp;&nbsp;&nbsp; 3028&nbsp;&nbsp;&nbsp;&nbsp; Pers Window:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 15<br>Delta Mes:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Delta Pack:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp; Delta sec&nbsp; :&nbsp;&nbsp;&nbsp; -124<br>==================================<br><br><br><b><i>John Schultz &lt;jschultz@spreadconcepts.com&gt;</i></b> wrote:<blockquote class="replbq" style="border-left: 2px solid rgb(16, 16, 255); margin-left: 5px; padding-left: 5px;"> On Tue, 11 Mar 2008, chanh hua wrote:<br><br>&gt; Bring me to my question, what network property is the misses data <br>&gt; suppose to tell us?<br><br>The misses data tells you how many of the sent packets the receiver missed <br>(i.e. - didn't receive).  From your report it looks like the sender sent <br>10000 packets but the receiver only heard 1999 (10000 - 8001) of them <br>before it got the last packet.  If
 correct, then that would be about an <br>80% loss rate for your configuration.  A typical loss rate for LAN <br>broad/multicast is well below 1%.<br><br>&gt; The explanation he gave for why we might have observed all<br>&gt; these misses was b/c the broadcast address used contains all<br>&gt; network machines(i.e. desktops, printers, etc...) and not<br>&gt; just servers and most of those machines ignore broadcast.<br>&gt; But since he doesn't know what these results mean, he can't<br>&gt; say for sure.<br><br>He is correct that broadcast will bother (i.e. - potentially increase <br>load) all the machines on the associated subnet.  If you instead use <br>multicast, then either your switch/router or you NICs should filter out <br>the packets before an interrupt is generated on non-participating <br>machines.  Multicast is preferable, however, occasionally some switches <br>and routers don't implement multicast well or their multicast is <br>misconfigured.  In such
 situations, broadcast sometimes works better due <br>to its simplicity.<br><br>&gt; If this is an issue, would using a multicast address be better? <br>&gt; However, when i used a multicast address for the test, i still saw a lot <br>&gt; of misses.<br><br>Typically, broadcast should not increase loss versus multicast unless your <br>switch/router is biased against broadcast somehow for some weird reason.<br><br>&gt; I talked to the network admin, and he's not seeing any drops<br>&gt; btw the servers on the segments.  And he confirmed the<br>&gt; broadcast address i used was correct.<br><br>Well, it definitely seems like something is wrong from your reports.  Try <br>using spmonitor to view the status of the daemons as they are running. <br>Like I said, if you see their retrans counts going up by more than a <br>couple a second, then something is probably wrong in your network.<br><br>&gt; would having a lot of drops lead cause daemon to be
 unresponsive?<br><br>Theoretically, it could.  If the daemons got stuck in a loop of trying to <br>establish a membership due to intermittent / flaky communications with <br>other daemons, then the system would appear to freeze as the daemons stop <br>processing client communications in this state.  Usually, the "freeze"<br>wouldn't persist forever but rather you would see lots of daemon <br>membership changes and progress would stutter forward.<br><br>Cheers!<br><br>---<br>John Schultz<br>Spread Concepts<br>Phn: 443 838 2200<br></blockquote><br><p>&#32;

      <hr size=1>Never miss a thing.  <a href="http://us.rd.yahoo.com/evt=51438/*http://www.yahoo.com/r/hs"> Make Yahoo your homepage.</a>