-1
Ich muss 4.000.000.000 Zeilen aus einer Datei lesen und sie in einem Array speichern.Lesen von 4.000.000.000 Zeilen aus einer Datei und Speichern in ein Array in C
Aber der Linux-Kernel tötet den Prozess wegen des Speichers:
tail /var/log/kern.log
... Out of memory: Kill process ...
Der Code
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
int main() {
/*
* Read line by line from the file and write into the array
*/
int lines_allocated = 128;
int max_line_len = 15;
char **array = (char **)malloc(sizeof(char*)*lines_allocated);
if (array==NULL) {
fprintf(stderr,"Out of memory (1).\n");
exit(1);
}
file = fopen("file", "r");
if (file == NULL) {
fprintf(stderr,"Error opening file.\n");
exit(2);
}
int il;
for (il=0;1;il++) {
int j;
/* Have we gone over our line allocation? */
if (il >= lines_allocated) {
int new_size;
/* Double our allocation and re-allocate */
new_size = lines_allocated*2;
array = (char **)realloc(array,sizeof(char*)*new_size);
if (array==NULL){
fprintf(stderr,"Out of memory.\n");
exit(3);
}
lines_allocated = new_size;
}
/* Allocate space for the next line */
array[il] = malloc(max_line_len);
if (array[il]==NULL)
{
fprintf(stderr,"Out of memory (3).\n");
exit(4);
}
if (fgets(array[il], max_line_len-1, file)==NULL)
break;
/* Get rid of CR or LF at end of line */
for (j=strlen(array[il])-1;j>=0 && (array[il][j]=='\n' || array[il][j]=='\r');j--)
;
array[il][j+1]='\0';
}
/* Close login file */
fclose(file);
/* Print the array of data from the file */
for (i=0; i < il; i++)
printf("%s\n", array[i]);
return 0;
}
Was ist der am besten geeignete und effektivste Weg, dies zu tun? Vielleicht ersten Block lesen, fertig damit, dann nächsten Block lesen und so weiter?
Was sind die Lösungen für dieses Problem?
lesen Sie es nach kleineren Zeilenblöcken. –
Wie Sie bereits gesagt haben, können Sie jeweils eine Zeile lesen, sie verarbeiten und dann für die verbleibenden Datenzeilen dasselbe tun. – ameyCU
Sie haben sich selbst geantwortet. Stück für Stück ist der richtige Weg –