So aggregieren Sie AWS SQS ApproximateNumberOfMessages

Question

Wieviele SQS-Warteschlangen gibt es X, wie kann ich die ApproximateNumberOfMessages in einer CloudWatch-Metrik zusammenfassen?

Ich möchte eine automatische Skalierung Gruppenskala basierend auf wie viele Nachrichten gibt es in den Warteschlangen. Die Verwendung mehrerer CloudWatch-Alarme (einer für jede Warteschlange) verursacht Probleme, da eine Warteschlange leer ist, während die anderen "voll" sind.

Answer 1

Die Art, wie ich dies erreicht habe, ist mit AWS Lambda mit Node.js. Ich habe einen CloudWatch Event-Trigger hinzugefügt, um die Lambda-Funktion jede Minute auszuführen. Dies fragt die sqs-Warteschlangen ab und erstellt dann eine benutzerdefinierte CloudWatch-Metrik, die Sie dann für die Skalierungsgruppe für die automatische Skalierung verwenden können. Dieser Code

var AWS = require('aws-sdk'); 
var sqs = new AWS.SQS(); 
var cloudWatch = new AWS.CloudWatch(); 

var queueUrls = ['https://sqs.REGION.amazonaws.com/ACCOUNT-NUMBER/queueUrl1','https://sqs.REGION.amazonaws.com/ACCOUNT-NUMBER/queueUrl2']; 

exports.handler = (event, context, callback) => { 
    var fn = function (url) { 
     return new Promise(resolve => { 
      var sqsParams = { 
       AttributeNames: ['ApproximateNumberOfMessages'], 
       QueueUrl: url 
      }; 

      sqs.getQueueAttributes(sqsParams, function(err,data){ 
       if(err) 
       { 
        console.log(err,err.stack); 
        context.fail(err); 
       } 
       else 
       { 
        resolve({name: url.split('/').pop(), messageCount: parseInt(data.Attributes.ApproximateNumberOfMessages)}); 
       } 
      }); 
     }); 
    }; 

    var actions = queueUrls.map(fn); 
    Promise.all(actions).then(function(queues) { 
     var messageCount = queues.map(function(m){return m.messageCount;}); 
     var queueNames = queues.map(function(n){return n.name;}).join(); 

     var metricParams = { 
      MetricData:[{ 
       MetricName: 'ApproximateNumberOfMessages', 
       Dimensions:[{ 
        Name: 'QueueName', 
        Value: queueNames 
       }], 
       Unit: 'Count', 
       StatisticValues: { 
        Maximum: Math.max.apply(Math, messageCount), 
        Minimum: Math.min.apply(Math, messageCount), 
        SampleCount: queues.length, 
        Sum: messageCount.reduce((pv, cv) => pv+cv, 0) 
       } 
      }], 
      Namespace: 'AWS/SQS' 
     }; 
     cloudWatch.putMetricData(metricParams, function(err, metricData){ 
      if(err) console.log(err,err.stack); 
      else console.log(metricData); 
     }); 
    }); 
}; 

kann natürlich optimiert werden, um mehr als zwei Warteschlangen zu handhaben und kann wahrscheinlich von Asynchron-Wasserfall profitieren.

EDIT: aktualisiert, um Versprechen zu verwenden.

EDIT2: Verketten der Warteschlangennamen für CloudWatch Metric