Friday, March 24, 2017

CLDB guts

                                                     CLDB Guts

We need a high level metric that tells us the cluster statecldbguts utility monitors the activity of cluster.  Monitoring the progress may be useful when troubleshooting cluster issues or estimate time cluster would take during cluster restart and make sure progress is made in right direction. Running this command from the CLDB master node will provide most relevant information. 


/opt/mapr/bin/cldbguts containers

2017-03-22 20:28:46,208
             assigns                              roles                                      progress                                                              con-chain         
      nr       nc    nrt   nct      bm       ms         wr  rs     vr           uu      m%        uc               v%       tr                ms          1r            2r   
      1        0      0     0     207053  2663695   2   2  5659657  120    92.78%  2870869  97.57%  8530529    2663695  2864682  2794964 
      7        0      0     0     207053  2663695   2   2  5659657  120    92.78%  2870869  97.57%  8530529    2663695  2864682  2794964 
      9        0      0     0     207053  2663695   2   2  5659657  120    92.78%  2870869  97.57%  8530529    2663695  2864682  2794964 
      1        0      0     0     207053  2663695   2   2  5659657  120    92.78%  2870869  97.57%  8530529    2663695  2864682  2794964 
      4        0      0     0     207053  2663695   2   2  5659657  120    92.78%  2870869  97.57%  8530529    2663695  2864682  2794964 
      3        0      0     0     207053  2663695   2   2  5659657  120    92.78%  2870869  97.57%  8530529    2663695  2864682  2794964 
      1        0      0     0     207053  2663695   2   2  5659657  120    92.78%  2870869  97.57%  8530529    2663695  2864682  2794964 
      1        0      0     0     207053  2663695   2   2  5659657  120    92.78%  2870869  97.57%  8530529    2663695  2864682  2794964 
      2        0      0     0     207053  2663695   2   2  5659657  120    92.78%  2870869  97.57%  8530529    2663695  2864682  2794964 

Container-Chain : Below 3 are most direct stats to review and confirm if CLDB is making progress in bringing containers online i.e every ticking second if the counters are increasing means progress is made in right direction .

ms: Number of unique containers that have a master.
1r: Number of unique containers that have 2 valid copies of the data
2r: Number of unique containers that have 3 valid copies of the data

Assigns : 

nr: Number of container assign requests in the 1 second
nc: Number of containers created as part of the container assign requests in the 1 second
nrt: Number of container assign requests for tablets in the past 1 second
nct: Number of containers created as part of the above container assign requests for tablets in past 1 second

roles :

rs: Number of replica containers that are resyncing.
vr: Number of non-master replica containers that have finished resynchronization

progress :

m%: Percentage of containers that have valid masters
uc: Number of unique containers
v%: Percentage of replica containers that are valid (i.e., have completed resynchronization)
tr: Total number of replica containers.

/opt/mapr/bin/cldbguts heartbeat

2017-03-22 17:44:21,241
         mfs hb                           nfs hb          
      nr          pt               to        nr           pt      
     551        194604      0       564        3863399    
     539        173896      0       568        3719581    
     552        169888      0       560        3734112    
     554        177049      0       575        3786113    
     551        177405      0       571        3830968    
     561        181276      0       578        3871850    
     557        181475      0       560        3876045    
     562        170063      0       568        3664293    
     560        188553      0       576        3750587    

nr: Number of MapR-FS/NFS heartbeats completed in the past 1 second. 
to: Number of MapR-FS/NFS heartbeats that took longer than expected in the past 1 second.


 /opt/mapr/bin/cldbguts rpc

2017-03-22 17:45:15,760
                acr                           fcr                    regn        
      nr         pt          to  d  dp       nr       pt     to      nr      pt    to 
     185        145      0  0   0       0         0      0      0       0      0 
     204        207      0  0   0       4        339     0      0       0      0 
     165        108      0  0   0       0         0      0      0       0      0 
     175        153      0  0   0       0         0      0      0       0      0 
     198        351      0  0   0       0         0      0      0       0      0 
     172        396      0  0   0       4        277     0      0       0      0 
     187        158      0  0   0       0         0      0      0       0      0 
     193        156      0  0   0       0         0      0      0       0      0 
     165        118      0  0   0       7        589     0      0       0      0 

nr: Number of ACRs/FCR/Registration completed in the past 1 second.
to: Number of ACRs/FCR/Registration that took longer than expected in the past 1 second.

/opt/mapr/bin/cldbguts alarms

2017-03-22 17:45:34,953
         nodes        
   nn   of       sp   of 
  594  112  1800  56 
  594  112  1800  56 
  594  112  1800  56 
  594  112  1800  56 
  594  112  1800  56 
  594  112  1800  56 
  594  112  1800  56 
  594  112  1800  56 
  594  112  1800  56 
  594  112  1800  56 

nn/sp: Number of nodes/SP
of: Offline nodes/SP

/opt/mapr/bin/cldbguts table

2017-03-22 17:45:57,140
            location                         size                       sptable         
      lu        up     dl  sc       lu         up     dl  sc    lu    up       dl    sc 
      0          0      0   0        3        519      0   0     0     0       0     -1 
      0          3      0   0        1        501      0   0     0     0       1      0 
      0          0      0   0        0        457      0   0     0     0       0      0 
      0          0      0   0        0        560      0   0     0     0       0      0 
      0          1      0   0       10        500      0   0     0     0       1      0 
     512         8      0   0        0        498      0   0     0     0       8      0 
      0          1      0   0       27        543      0   0     0     0       1      0 
      0          1      0   0       28        643      0   0     0     0       0      0 
      0          0      0   0        0        440      0   0     0     0       0      0 



Iu/up/dl: inserts/lookups/deletes by table 
sc: Number of active scans by table


No comments:

Post a Comment