Differenz zwischen zwei Pandas-Datenrahmen nebeneinander ausgeben, wodurch der Unterschied hervorgehoben wird
Ich versuche genau hervorzuheben, was sich zwischen zwei Datenrahmen geändert hat.
Angenommen, ich habe zwei Python Pandas-Datenrahmen:
"StudentRoster Jan-1":
id Name score isEnrolled Comment
111 Jack 2.17 True He was late to class
112 Nick 1.11 False Graduated
113 Zoe 4.12 True
"StudentRoster Jan-2":
id Name score isEnrolled Comment
111 Jack 2.17 True He was late to class
112 Nick 1.21 False Graduated
113 Zoe 4.12 False On vacation
Mein Ziel ist es, eine HTML-Tabelle auszugeben, die:
- Identifiziert Zeilen, die sich geändert haben (möglicherweise int, float, boolean, string).
Gibt Zeilen mit gleichen, alten und neuen Werten aus (idealerweise in eine HTML-Tabelle), sodass der Konsument eindeutig sehen kann, was sich zwischen zwei Datenrahmen geändert hat:
"StudentRoster Difference Jan-1 - Jan-2": id Name score isEnrolled Comment 112 Nick was 1.11| now 1.21 False Graduated 113 Zoe 4.12 was True | now False was "" | now "On vacation"
Ich vermute, ich könnte Zeile für Zeile und Spalte für Spalte vergleichen, aber gibt es einen einfacheren Weg?
Der erste Teil ähnelt Constantine. Sie können den Boolean-Wert erhalten, von dem die Zeilen leer sind *:
In [21]: ne = (df1 != df2).any(1)
In [22]: ne
Out[22]:
0 False
1 True
2 True
dtype: bool
Dann können wir sehen, welche Einträge sich geändert haben:
In [23]: ne_stacked = (df1 != df2).stack()
In [24]: changed = ne_stacked[ne_stacked]
In [25]: changed.index.names = ['id', 'col']
In [26]: changed
Out[26]:
id col
1 score True
2 isEnrolled True
Comment True
dtype: bool
Hier ist der erste Eintrag der Index und der zweite die geänderten Spalten.
In [27]: difference_locations = np.where(df1 != df2)
In [28]: changed_from = df1.values[difference_locations]
In [29]: changed_to = df2.values[difference_locations]
In [30]: pd.DataFrame({'from': changed_from, 'to': changed_to}, index=changed.index)
Out[30]:
from to
id col
1 score 1.11 1.21
2 isEnrolled True False
Comment None On vacation
* Hinweis: Es ist wichtig, dass df1 und df2 hier den gleichen Index verwenden. Um diese Mehrdeutigkeit zu überwinden, können Sie sicherstellen, dass Sie nur die gemeinsam genutzten Labels mit df1.index & df2.index betrachten, aber ich denke, ich lasse das als Übung.
Markieren Sie den Unterschied zwischen zwei DataFrames
Sie können die DataFrame-Stileigenschaft verwenden, um die Hintergrundfarbe der Zellen hervorzuheben, in denen ein Unterschied besteht.
Verwendung der Beispieldaten aus der ursprünglichen Frage
Der erste Schritt besteht darin, die DataFrames horizontal mit der Funktion concat zu verketten und jeden Frame mit dem Parameter keys zu unterscheiden:
df_all = pd.concat([df.set_index('id'), df2.set_index('id')],
axis='columns', keys=['First', 'Second'])
df_all
Es ist wahrscheinlich einfacher, die Spaltenebenen auszutauschen und dieselben Spaltennamen nebeneinander zu setzen:
df_final = df_all.swaplevel(axis='columns')[df.columns[1:]]
df_final
Jetzt ist es viel einfacher, die Unterschiede in den Frames zu erkennen. Wir können jedoch noch weiter gehen und die style-Eigenschaft verwenden, um die Zellen hervorzuheben, die sich unterscheiden. Wir definieren eine benutzerdefinierte Funktion, die Sie in diesem Teil der Dokumentation sehen können.
def highlight_diff(data, color='yellow'):
attr = 'background-color: {}'.format(color)
other = data.xs('First', axis='columns', level=-1)
return pd.DataFrame(np.where(data.ne(other, level=0), attr, ''),
index=data.index, columns=data.columns)
df_final.style.apply(highlight_diff, axis=None)
Dadurch werden Zellen hervorgehoben, in denen beide Werte fehlen. Sie können sie entweder ausfüllen oder zusätzliche Logik bereitstellen, damit sie nicht hervorgehoben werden.
Diese Antwort erweitert @Andy Hayden's einfach, macht sie unempfindlich gegenüber numerischen Feldern, die nan sind, und fasst sie in eine Funktion ein.
import pandas as pd
import numpy as np
def diff_pd(df1, df2):
"""Identify differences between two pandas DataFrames"""
assert (df1.columns == df2.columns).all(), \
"DataFrame column names are different"
if any(df1.dtypes != df2.dtypes):
"Data Types are different, trying to convert"
df2 = df2.astype(df1.dtypes)
if df1.equals(df2):
return None
else:
# need to account for np.nan != np.nan returning True
diff_mask = (df1 != df2) & ~(df1.isnull() & df2.isnull())
ne_stacked = diff_mask.stack()
changed = ne_stacked[ne_stacked]
changed.index.names = ['id', 'col']
difference_locations = np.where(diff_mask)
changed_from = df1.values[difference_locations]
changed_to = df2.values[difference_locations]
return pd.DataFrame({'from': changed_from, 'to': changed_to},
index=changed.index)
Also mit Ihren Daten (leicht bearbeitet, um eine NaN in der Score-Spalte zu haben):
import sys
if sys.version_info[0] < 3:
from StringIO import StringIO
else:
from io import StringIO
DF1 = StringIO("""id Name score isEnrolled Comment
111 Jack 2.17 True "He was late to class"
112 Nick 1.11 False "Graduated"
113 Zoe NaN True " "
""")
DF2 = StringIO("""id Name score isEnrolled Comment
111 Jack 2.17 True "He was late to class"
112 Nick 1.21 False "Graduated"
113 Zoe NaN False "On vacation" """)
df1 = pd.read_table(DF1, sep='\s+', index_col='id')
df2 = pd.read_table(DF2, sep='\s+', index_col='id')
diff_pd(df1, df2)
Ausgabe:
from to
id col
112 score 1.11 1.21
113 isEnrolled True False
Comment On vacation
Ich bin mit diesem Problem konfrontiert, habe aber eine Antwort gefunden, bevor ich diesen Beitrag gefunden habe:
Laden Sie Ihre Daten basierend auf der Antwort von unutbu ...
import pandas as pd
import io
texts = ['''\
id Name score isEnrolled Date
111 Jack True 2013-05-01 12:00:00
112 Nick 1.11 False 2013-05-12 15:05:23
Zoe 4.12 True ''',
'''\
id Name score isEnrolled Date
111 Jack 2.17 True 2013-05-01 12:00:00
112 Nick 1.21 False
Zoe 4.12 False 2013-05-01 12:00:00''']
df1 = pd.read_fwf(io.BytesIO(texts[0]), widths=[5,7,25,17,20], parse_dates=[4])
df2 = pd.read_fwf(io.BytesIO(texts[1]), widths=[5,7,25,17,20], parse_dates=[4])
... definieren Sie Ihre diff Funktion ...
def report_diff(x):
return x[0] if x[0] == x[1] else '{} | {}'.format(*x)
Dann können Sie einfach ein Panel verwenden, um abzuschließen:
my_panel = pd.Panel(dict(df1=df1,df2=df2))
print my_panel.apply(report_diff, axis=0)
# id Name score isEnrolled Date
#0 111 Jack nan | 2.17 True 2013-05-01 12:00:00
#1 112 Nick 1.11 | 1.21 False 2013-05-12 15:05:23 | NaT
#2 nan | nan Zoe 4.12 True | False NaT | 2013-05-01 12:00:00
Wenn Sie sich in IPython Notebook befinden, können Sie übrigens eine farbige diff - Funktion verwenden, um Farben anzugeben, je nachdem, ob Zellen unterschiedlich, gleich oder links/rechts null sind:
from IPython.display import HTML
pd.options.display.max_colwidth = 500 # You need this, otherwise pandas
# will limit your HTML strings to 50 characters
def report_diff(x):
if x[0]==x[1]:
return unicode(x[0].__str__())
Elif pd.isnull(x[0]) and pd.isnull(x[1]):
return u'<table style="background-color:#00ff00;font-weight:bold;">'+\
'<tr><td>%s</td></tr><tr><td>%s</td></tr></table>' % ('nan', 'nan')
Elif pd.isnull(x[0]) and ~pd.isnull(x[1]):
return u'<table style="background-color:#ffff00;font-weight:bold;">'+\
'<tr><td>%s</td></tr><tr><td>%s</td></tr></table>' % ('nan', x[1])
Elif ~pd.isnull(x[0]) and pd.isnull(x[1]):
return u'<table style="background-color:#0000ff;font-weight:bold;">'+\
'<tr><td>%s</td></tr><tr><td>%s</td></tr></table>' % (x[0],'nan')
else:
return u'<table style="background-color:#ff0000;font-weight:bold;">'+\
'<tr><td>%s</td></tr><tr><td>%s</td></tr></table>' % (x[0], x[1])
HTML(my_panel.apply(report_diff, axis=0).to_html(escape=False))
import pandas as pd
import io
texts = ['''\
id Name score isEnrolled Comment
111 Jack 2.17 True He was late to class
112 Nick 1.11 False Graduated
113 Zoe 4.12 True ''',
'''\
id Name score isEnrolled Comment
111 Jack 2.17 True He was late to class
112 Nick 1.21 False Graduated
113 Zoe 4.12 False On vacation''']
df1 = pd.read_fwf(io.BytesIO(texts[0]), widths=[5,7,25,21,20])
df2 = pd.read_fwf(io.BytesIO(texts[1]), widths=[5,7,25,21,20])
df = pd.concat([df1,df2])
print(df)
# id Name score isEnrolled Comment
# 0 111 Jack 2.17 True He was late to class
# 1 112 Nick 1.11 False Graduated
# 2 113 Zoe 4.12 True NaN
# 0 111 Jack 2.17 True He was late to class
# 1 112 Nick 1.21 False Graduated
# 2 113 Zoe 4.12 False On vacation
df.set_index(['id', 'Name'], inplace=True)
print(df)
# score isEnrolled Comment
# id Name
# 111 Jack 2.17 True He was late to class
# 112 Nick 1.11 False Graduated
# 113 Zoe 4.12 True NaN
# 111 Jack 2.17 True He was late to class
# 112 Nick 1.21 False Graduated
# 113 Zoe 4.12 False On vacation
def report_diff(x):
return x[0] if x[0] == x[1] else '{} | {}'.format(*x)
changes = df.groupby(level=['id', 'Name']).agg(report_diff)
print(changes)
druckt
score isEnrolled Comment
id Name
111 Jack 2.17 True He was late to class
112 Nick 1.11 | 1.21 False Graduated
113 Zoe 4.12 True | False nan | On vacation
Wenn Ihre beiden Datenframes die gleichen IDs enthalten, ist das Herausfinden der Änderungen ziemlich einfach. Wenn Sie nur frame1 != frame2 ausführen, erhalten Sie einen booleschen DataFrame, bei dem jede True Daten ist, die geändert wurden. Daraus könnten Sie leicht den Index jeder geänderten Zeile abrufen, indem Sie changedids = frame1.index[np.any(frame1 != frame2,axis=1)] ausführen.
Ein anderer Ansatz unter Verwendung von concat und drop_duplicates:
import sys
if sys.version_info[0] < 3:
from StringIO import StringIO
else:
from io import StringIO
import pandas as pd
DF1 = StringIO("""id Name score isEnrolled Comment
111 Jack 2.17 True "He was late to class"
112 Nick 1.11 False "Graduated"
113 Zoe NaN True " "
""")
DF2 = StringIO("""id Name score isEnrolled Comment
111 Jack 2.17 True "He was late to class"
112 Nick 1.21 False "Graduated"
113 Zoe NaN False "On vacation" """)
df1 = pd.read_table(DF1, sep='\s+', index_col='id')
df2 = pd.read_table(DF2, sep='\s+', index_col='id')
#%%
dictionary = {1:df1,2:df2}
df=pd.concat(dictionary)
df.drop_duplicates(keep=False)
Ausgabe:
Name score isEnrolled Comment
id
1 112 Nick 1.11 False Graduated
113 Zoe NaN True
2 112 Nick 1.21 False Graduated
113 Zoe NaN False On vacation
Nachdem ich mit @ journois 'Antwort herumgespielt hatte, konnte ich es aufgrund von Panel deprication mit MultiIndex anstelle von Panel zum Laufen bringen.
Erstellen Sie zunächst einige Dummy-Daten:
df1 = pd.DataFrame({
'id': ['111', '222', '333', '444', '555'],
'let': ['a', 'b', 'c', 'd', 'e'],
'num': ['1', '2', '3', '4', '5']
})
df2 = pd.DataFrame({
'id': ['111', '222', '333', '444', '666'],
'let': ['a', 'b', 'c', 'D', 'f'],
'num': ['1', '2', 'Three', '4', '6'],
})
Definieren Sie dann Ihre diff - Funktion. In diesem Fall verwende ich die aus seiner Antwort. report_diff bleibt gleich:
def report_diff(x):
return x[0] if x[0] == x[1] else '{} | {}'.format(*x)
Dann werde ich die Daten zu einem MultiIndex-Datenrahmen verketten:
df_all = pd.concat(
[df1.set_index('id'), df2.set_index('id')],
axis='columns',
keys=['df1', 'df2'],
join='outer'
)
df_all = df_all.swaplevel(axis='columns')[df1.columns[1:]]
Und schließlich werde ich den report_diff in jeder Spaltengruppe anwenden:
df_final.groupby(level=0, axis=1).apply(lambda frame: frame.apply(report_diff, axis=1))
Dies gibt aus:
let num
111 a 1
222 b 2
333 c 3 | Three
444 d | D 4
555 e | nan 5 | nan
666 nan | f nan | 6
Und das ist alles!
Antwort von @cge erweitern, was für mehr Lesbarkeit des Ergebnisses ziemlich cool ist:
a[a != b][np.any(a != b, axis=1)].join(DataFrame('a<->b', index=a.index, columns=['a<=>b'])).join(
b[a != b][np.any(a != b, axis=1)]
,rsuffix='_b', how='outer'
).fillna('')
Vollständiges Demonstrationsbeispiel:
a = DataFrame(np.random.randn(7,3), columns=list('ABC'))
b = a.copy()
b.iloc[0,2] = np.nan
b.iloc[1,0] = 7
b.iloc[3,1] = 77
b.iloc[4,2] = 777
a[a != b][np.any(a != b, axis=1)].join(DataFrame('a<->b', index=a.index, columns=['a<=>b'])).join(
b[a != b][np.any(a != b, axis=1)]
,rsuffix='_b', how='outer'
).fillna('')
Hier ist eine andere Möglichkeit, Select und Merge zu verwenden:
In [6]: # first lets create some dummy dataframes with some column(s) different
...: df1 = pd.DataFrame({'a': range(-5,0), 'b': range(10,15), 'c': range(20,25)})
...: df2 = pd.DataFrame({'a': range(-5,0), 'b': range(10,15), 'c': [20] + list(range(101,105))})
In [7]: df1
Out[7]:
a b c
0 -5 10 20
1 -4 11 21
2 -3 12 22
3 -2 13 23
4 -1 14 24
In [8]: df2
Out[8]:
a b c
0 -5 10 20
1 -4 11 101
2 -3 12 102
3 -2 13 103
4 -1 14 104
In [10]: # make condition over the columns you want to comapre
...: condition = df1['c'] != df2['c']
...:
...: # select rows from each dataframe where the condition holds
...: diff1 = df1[condition]
...: diff2 = df2[condition]
In [11]: # merge the selected rows (dataframes) with some suffixes (optional)
...: diff1.merge(diff2, on=['a','b'], suffixes=('_before', '_after'))
Out[11]:
a b c_before c_after
0 -4 11 21 101
1 -3 12 22 102
2 -2 13 23 103
3 -1 14 24 104
Hier ist dasselbe von einem Jupyter-Screenshot:
Im Folgenden wird eine Funktion implementiert, die asymmetrische Unterschiede zwischen zwei Datenrahmen ermittelt: (Basierend auf Differenz für Pandas festlegen ) Gist: https://Gist.github.com/oneryalcin/68cf25f536a25e65f0b3c84f9c118e =
def diff_df(df1, df2, how="left"):
"""
Find Difference of rows for given two dataframes
this function is not symmetric, means
diff(x, y) != diff(y, x)
however
diff(x, y, how='left') == diff(y, x, how='right')
Ref: https://stackoverflow.com/questions/18180763/set-difference-for-pandas/40209800#40209800
"""
if (df1.columns != df2.columns).any():
raise ValueError("Two dataframe columns must match")
if df1.equals(df2):
return None
Elif how == 'right':
return pd.concat([df2, df1, df1]).drop_duplicates(keep=False)
Elif how == 'left':
return pd.concat([df1, df2, df2]).drop_duplicates(keep=False)
else:
raise ValueError('how parameter supports only "left" or "right keywords"')
Beispiel:
df1 = pd.DataFrame(d1)
Out[1]:
Comment Name isEnrolled score
0 He was late to class Jack True 2.17
1 Graduated Nick False 1.11
2 Zoe True 4.12
df2 = pd.DataFrame(d2)
Out[2]:
Comment Name isEnrolled score
0 He was late to class Jack True 2.17
1 On vacation Zoe True 4.12
diff_df(df1, df2)
Out[3]:
Comment Name isEnrolled score
1 Graduated Nick False 1.11
2 Zoe True 4.12
diff_df(df2, df1)
Out[4]:
Comment Name isEnrolled score
1 On vacation Zoe True 4.12
# This gives the same result as above
diff_df(df1, df2, how='right')
Out[22]:
Comment Name isEnrolled score
1 On vacation Zoe True 4.12