Verhindern, dass Duplikate in der Bash-History gespeichert werden

Question

Ich versuche zu verhindern, dass bash doppelte Befehle in meinem Verlauf speichert. Hier ist, was ich habe:

shopt -s histappend 
export HISTIGNORE='&:ls:cd ~:cd ..:[bf]g:exit:h:history' 
export HISTCONTROL=erasedups 
export PROMPT_COMMAND='history -a' 

Dies funktioniert gut, während ich angemeldet und .bash_history ist im Speicher. Zum Beispiel:

$ history 
    1 vi .bashrc 
    2 vi .alias 
    3 cd /cygdrive 
    4 cd ~jplemme 
    5 vi .bashrc 
    6 vi .alias 

$ vi .bashrc 

$ history 
    1 vi .alias 
    2 cd /cygdrive 
    3 cd ~jplemme 
    4 vi .alias 
    5 vi .bashrc 

$ vi .alias 

$ history 
    1 cd /cygdrive 
    2 cd ~jplemme 
    3 vi .bashrc 
    4 vi .alias 

$ exit 

Aber wenn ich wieder anmelden, meine History-Datei sieht wie folgt aus:

$ history 
    1 vi .bashrc 
    2 vi .alias 
    3 cd /cygdrive 
    4 cd ~jplemme 
    5 vi .bashrc 
    6 vi .alias 
    7 vi .bashrc 
    8 vi .alias 

Was mache ich falsch?

EDIT: Das Entfernen der shopt und PROMPT_COMMAND Zeilen von .bashrc behebt das Problem nicht.

Answer 1

export HISTCONTROL=ignoreboth 

Answer 2

Das Problem ist definitiv die histappend. Getestet und bestätigt auf meinem System.

Meine relevante Umwelt ist:

$ set | grep HIST 
HISTFILE=/Users/hop/.bash_history 
HISTFILESIZE=500 
HISTIGNORE=' *:&:?:??' 
HISTSIZE=500 
$ export HISTCONTROL=erasedups 
$ shopt | grep hist 
cmdhist   on 
histappend  off 
histreedit  off 
histverify  off 
lithist   off 

Jetzt, wo ich darüber nachdenke, ist das Problem wahrscheinlich mit den history -a. history -w sollte den aktuellen Verlauf ohne Duplikate schreiben, verwenden Sie das also, wenn Sie die Nebenläufigkeitsprobleme nicht stören. Hier

Answer 3

ist, was ich benutze ..

[vanuganti@ ~]$ grep HIST .alias* 
.alias:HISTCONTROL="erasedups" 
.alias:HISTSIZE=20000 
.alias:HISTIGNORE=ls:ll:"ls -altr":"ls -alt":la:l:pwd:exit:mc:su:df:clear:ps:h:history:"ls -al" 
.alias:export HISTCONTROL HISTSIZE HISTIGNORE 
[vanuganti@ ~]$ 

und Arbeits

[vanuganti@ ~]$ pwd 
/Users/XXX 
[vanuganti@ ~]$ pwd 
/Users/XXX 
[vanuganti@ ~]$ history | grep pwd | wc -l 
     1 

Answer 4

in Ihrem .bash_profile hinzufügen

alias hist="history -a && hist.py" 

dann dies als hist.py auf Ihrem Weg setzen und mach es ausführbar

#!/usr/bin/env python 
f = open('/Users/joe/.bash_history') 
l = f.readlines() 
l.reverse() 
short = [] 
for s in l: 
    if s.rstrip() not in short: 
     short.append(s.rstrip()) 
short.reverse() 
for s in short: 
    print s 

jetzt, wenn Sie die kurze Liste möchten geben Sie einfach hist

Answer 5

Soweit ich weiß, ist es nicht möglich ist, zu tun, was Sie wollen. Ich sehe das als einen Fehler in der Geschichte Verarbeitung von bash, die verbessert werden könnte.

export HISTCONTROL=ignoreboth:erasedups # no duplicate entries 
shopt -s histappend      # append history file 
export PROMPT_COMMAND="history -a"  # update histfile after every command 

Dies wird die in Erinnerung Geschichte einzigartig halten, aber während es Geschichte tut spart aus mehreren Sitzungen in der gleichen Datei, halten sie nicht die Geschichte in der Datei selbst einzigartig. history -a schreibt den neuen Befehl in die Datei, es sei denn, es ist derselbe wie der unmittelbar davor. Es wird nicht eine vollständige Deduplizierung wie die erasedups Einstellung im Speicher tun.

Um diese Dummheit in Aktion zu sehen, starten Sie eine neue Terminalsitzung, untersuchen Sie den Verlauf, und Sie werden wiederholt Einträge sehen, sagen ls. Führen Sie jetzt den Befehl ls aus, und alle duplizierten ls werden aus dem Verlauf im Speicher gelöscht, wobei nur der letzte zurückbleibt. Der In-Memory-Verlauf wird kürzer, wenn Sie Befehle ausführen, die in der History-Datei dupliziert sind, aber die History-Datei selbst wächst weiter.

Ich benutze mein eigenes Skript, um die Verlaufsdatei bei Bedarf zu bereinigen.

# remove duplicates while preserving input order 
function dedup { 
    awk '! x[$0]++' $@ 
} 

# removes $HISTIGNORE commands from input 
function remove_histignore { 
    if [ -n "$HISTIGNORE" ]; then 
     # replace : with |, then * with .* 
     local IGNORE_PAT=`echo "$HISTIGNORE" | sed s/\:/\|/g | sed s/\*/\.\*/g` 
     # negated grep removes matches 
     grep -vx "$IGNORE_PAT" $@ 
    else 
     cat $@ 
    fi 
} 

# clean up the history file by remove duplicates and commands matching 
# $HISTIGNORE entries 
function history_cleanup { 
    local HISTFILE_SRC=~/.bash_history 
    local HISTFILE_DST=/tmp/.$USER.bash_history.clean 
    if [ -f $HISTFILE_SRC ]; then 
     \cp $HISTFILE_SRC $HISTFILE_SRC.backup 
     dedup $HISTFILE_SRC | remove_histignore >| $HISTFILE_DST 
     \mv $HISTFILE_DST $HISTFILE_SRC 
     chmod go-r $HISTFILE_SRC 
     history -c 
     history -r 
    fi 
} 

Ich würde gerne elegantere Möglichkeiten, dies zu tun hören.

Hinweis: Das Skript funktioniert nicht, wenn Sie den Zeitstempel im Verlauf über HISTTIMEFORMAT aktivieren. in Erinnerung, nicht nur die letzten

Bash kann die Situation von

1. fix history -a nur neue Daten schreiben verbessern, wenn es keine Geschichte übereinstimmt.
2. deduplizieren Geschichte, wenn Dateien gelesen werden, wenn erasedups Einstellung festgelegt ist. Ein einfacher history -w in einem neuen Terminal würde dann die Verlaufsdatei anstelle des obigen dummen Skripts bereinigen.