Slice-Chunking in Go

Question

Ich habe eine Scheibe mit ~ 2,1 Millionen Log-Strings drin, und ich möchte eine Scheibe von Scheiben mit den Saiten so gleichmäßig verteilt wie möglich zu schaffen. Hier

ist das, was ich bisher:

// logs is a slice with ~2.1 million strings in it. 
var divided = make([][]string, 0) 
NumCPU := runtime.NumCPU() 
ChunkSize := len(logs)/NumCPU 
for i := 0; i < NumCPU; i++ { 
    temp := make([]string, 0) 
    idx := i * ChunkSize 
    end := i * ChunkSize + ChunkSize 
    for x := range logs[idx:end] { 
     temp = append(temp, logs[x]) 
    } 
    if i == NumCPU { 
     for x := range logs[idx:] { 
      temp = append(temp, logs[x]) 
     } 
    } 
    divided = append(divided, temp) 
} 

Die idx := i * ChunkSize geben Sie mir den aktuellen „chunk Start“ für den logs Index und end := i * ChunkSize + ChunkSize gibt mir die „chunk Ende“, oder das Ende die Reichweite dieses Stücks. Ich konnte keine Dokumentation oder Beispiele finden, wie man einen Slice chunk/split oder über einen begrenzten Bereich in Go iteriert, also habe ich das gefunden. Es kopiert jedoch nur den ersten Chunk mehrmals, so dass es nicht funktioniert.

Wie kann ich (möglichst gleichmäßig) ein Stück in Go aufteilen?

Answer 1

Sie müssen keine neuen Schichten erstellen, sondern nur Schichten von logs an die divided Schicht anfügen.

http://play.golang.org/p/vyihJZlDVy

var divided [][]string 

chunkSize := (len(logs) + numCPU - 1)/numCPU 

for i := 0; i < len(logs); i += chunkSize { 
    end := i + chunkSize 

    if end > len(logs) { 
     end = len(logs) 
    } 

    divided = append(divided, logs[i:end]) 
} 

fmt.Printf("%#v\n", divided)