Finden Sie Zeilen, die teilweise übereinstimmen

Question

So habe ich eine Textdatei, die eine große Anzahl von Zeilen enthält. Jede Zeile ist eine lange Zeichenfolge ohne Leerzeichen. Die Zeile enthält jedoch mehrere Informationen. Das Programm weiß, wie man die wichtigen Informationen in jeder Zeile unterscheidet. Das Programm erkennt, dass die ersten 4 Ziffern/Buchstaben der Zeile mit einem bestimmten Instrument übereinstimmen. Hier ist ein kleiner Beispielteil der Textdatei.

Beispiel Textdatei

1002IPU3... 
    POIPIPU2... 
    1435IPU1... 
    1812IPU3... 
    BFTOIPD3... 
    1435IPD2... 

Wie Sie sehen können, gibt es zwei Linien, die 1435 innerhalb dieser Textdatei enthalten, die mit einem bestimmten Instrument zusammenfällt. Diese Zeilen sind jedoch nicht identisch. Das Programm, das ich benutze, kann seine Berechnung nicht durchführen, wenn es Duplikate der gleichen Station gibt (dh es gibt zwei 1435 * Stationen). Ich muss einen Weg finden, meine Textdateien zu durchsuchen und festzustellen, ob es Duplikate der Teilstrings gibt, die die Stationen in der Datei darstellen, sodass ich einen oder beide Duplikate löschen kann. Wenn ich BASH-Skript die Anzahl der Zeilen ausgeben könnte, die die Duplikate enthalten und was die Duplikatzeilen sagen, würde das geschätzt werden. Ich denke, dass es einen einfachen Weg dafür geben könnte, aber ich konnte keine Beispiele dafür finden. Deine Hilfe wird geschätzt.

Answer 1

Verwenden folgende Python-Skript (Syntax von 2,7 Python-Version verwendet)

#!/usr/bin/python 

file_name = "device.txt" 
f1 = open(file_name,'r') 
device = {} 
line_count = 0 
for line in f1: 
     line_count += 1 
     if device.has_key(line[:4]): 
       device[line[:4]] = device[line[:4]] + "," + str(line_count) 
     else: 
       device[line[:4]] = str(line_count) 
f1.close() 
print device 

hier das Skript jede Zeile liest und die anfänglichen 4 Zeichen jeder Zeile betrachtet wird als Gerätenamen und erzeugt ein Schlüsselwertpaar device mit Schlüssel Gerätenamen und Wert als Zeilennummern darstellt, in dem wir die Zeichenfolge (Gerätename) finden

folgenden würde ausgegeben werden

{'POIP': '2', '1435': '3,6', '1002': '1', '1812': '4', 'BFTO': '5'} 

das könnte dir helfen !!

Answer 2

Wenn alles, was Sie tun möchten, ist festzustellen, ob es Duplikate (nicht notwendigerweise sie zählen oder beseitigen), das ist ein guter Ausgangspunkt wäre:

awk '{ if (++seen[substr($0, 1, 4)] > 1) printf "Duplicates found : %s\n",$0 }' inputfile.txt 

Für diese Angelegenheit, es ist ein guter Ausgangspunkt für Zählen oder Beseitigung auch es dauert nur ein bisschen mehr Arbeit ...

Answer 3

Wenn Sie die Anzahl der Duplikate:

awk '{a[substr($0,1,4)]++} END {for (i in a) {if(a[i]>1) print i": "a[i]}}' test.in 
1435: 2 

oder:

{ 
    a[substr($0,1,4)]++   # put prefixes to array and count them 
} 
END {       # in the end 
    for (i in a) {    # go thru all indexes 
    if(a[i]>1) print i": "a[i] # and print out the duplicate prefixes and their counts 
    } 
} 

Answer 4

Leicht Kreisverkehr, aber dies sollte Work-

cut -c 1-4 file.txt | sort -u > list 
for i in `cat list`; 
do 
echo -n "$i " 
grep -c ^"$i" file.txt  #This tells you how many occurrences of each 'station' 
done 

Dann können Sie tun, was Sie mit denen wollen, die mehr als einmal vorkommen.