findstr oder grep, die chararacter Codierung (UTF-16)

Question

Ich möchte, dies tun erkennt automatisch:

findstr /s /c:some-symbol * 

oder grep Äquivalent

grep -R some-symbol * 

aber ich brauche die Dienstprogramm-Dateien in UTF codiert automatisch zu erkennen -16 (und Freunde) und suchen sie entsprechend. Meine Dateien haben auch die Byte-Reihenfolge Marke FFEE in ihnen so bin ich nicht einmal für heroische automatische Erkennung suchen.

Irgendwelche Vorschläge?

---

Ich beziehe mich auf Windows Vista und XP.

Answer 1

Nach dieser blog article von Damon Cortesi grep nicht mit UTF-16-Dateien funktioniert, wie Sie herausgefunden haben. Aber es stellt diese Behelfslösung:

for f in `find . -type f | xargs -I {} file {} | grep UTF-16 | cut -f1 -d\:` 
     do iconv -f UTF-16 -t UTF-8 $f | grep -iH --label=$f ${GREP_FOR} 
done 

Dies ist natürlich für Unix, nicht sicher, was das Äquivalent unter Windows wäre. Der Autor dieses Artikels stellt auch ein Shell-Skript, um die oben genannten zu tun, die Sie auf Github here finden.

Diese greps nur Dateien, die UTF-16 sind. Sie würden Ihre ASCII-Dateien auch auf die normale Weise weitergeben.

Answer 2

Sie sagen nicht, welche Plattform Sie diese auf tun wollen.

Unter Windows können Sie PowerGREP verwenden, die Unicode-Dateien erkennt, die mit einer Byte-Reihenfolge beginnen. (Es gibt auch eine Option zur automatischen Erkennung von Dateien ohne BOM. Die automatische Erkennung ist sehr zuverlässig für UTF-8, aber begrenzt für UTF-16.)

Answer 3

Vielen Dank für die Vorschläge. Ich habe mich auf Windows Vista und XP bezogen.

Ich entdeckte auch diese Abhilfe, frei Sysinternals strings.exe mit:

C:\> strings -s -b dir_tree_to_search | grep regexp 

Strings.exe Extrakte alle Saiten es findet (von Binärdateien, sondern funktioniert mit Text auch Dateien) und prepends jedes Ergebnis mit einem Dateinamen und Kolon , also berücksichtige das im regexp (oder benutze cut oder einen anderen Schritt in der Pipeline). Die -s macht es eine rekursive Extraktion tun und -b unterdrückt nur die Banner-Nachricht.

Letztendlich bin ich immer noch irgendwie überrascht, dass das Flaggschiff Suchdienstprogramme Gnu grep und findstr nicht Unicode-Zeichenkodierungen nativ behandeln.

Answer 4

Unter Windows können Sie auch find.exe verwenden.

Das einzige Problem ist, druckt Dateinamen gefolgt von Übereinstimmungen. Sie können diese nach Rohr filtern

find /i /n "YourSearchString" *.* | findstr /i "YourSearchString" 

Answer 5

Eine Abhilfe findstr ist Ihr UTF-16 konvertiert in ASCII oder

ANSI

TYPE UTF-16.txt > ASCII.txt 

Dann können Sie FINDSTR verwenden.

for /r %f in (*) do @find /i /n "some-symbol" "%f" 

Answer 6

findstr /s /c:some-symbol * 

kann mit dem folgende Zeichen bewusst Befehl kodiert, ersetzt werden. Falls nicht, versuchen Sie, die aktive Codepage durch den Befehl chcp zu ändern.

In meinem Fall, wenn findstr allein mit versagen für UTF-16-Dateien, aber es funktioniert mit type:

type *.* | findstr /s /c:some-symbol 

Answer 7

In höheren Versionen von Windows, UTF-16 wird unterstützt out-of-box:

FINDSTR object ASCII.txt