Keras: Wie speichert man das Modell und setzt das Training fort?

Ich habe ein Modell, das ich für 40 Epochen trainiert habe. Ich behielt Kontrollpunkte für jede Epoche und speicherte das Modell auch mit model.save(). Der Code für das Training lautet

n_units = 1000
model = Sequential()
model.add(LSTM(n_units, input_shape=(None, vec_size), return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM(n_units, return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM(n_units))
model.add(Dropout(0.2))
model.add(Dense(vec_size, activation='linear'))
model.compile(loss='mean_squared_error', optimizer='adam')
# define the checkpoint
filepath="Word2vec-{Epoch:02d}-{loss:.4f}.hdf5"
checkpoint = ModelCheckpoint(filepath, monitor='loss', verbose=1, save_best_only=True, mode='min')
callbacks_list = [checkpoint]
# fit the model
model.fit(x, y, epochs=40, batch_size=50, callbacks=callbacks_list)

Wenn Sie jedoch das Modell erneut laden und trainieren, beginnt es von vorn, als ob es noch nicht trainiert worden wäre. Der Verlust beginnt nicht beim letzten Training.

Was mich verwirrt, ist, wenn ich ein Modell mit einer neuen Modellstruktur und load_weight lade, funktioniert die model.predict() gut. Ich glaube also, dass die Modellgewichte geladen sind.

model = Sequential()
model.add(LSTM(n_units, input_shape=(None, vec_size), return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM(n_units, return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM(n_units))
model.add(Dropout(0.2))
model.add(Dense(vec_size, activation='linear'))
filename = "Word2vec-39-0.0027.hdf5"
model.load_weights(filename)
model.compile(loss='mean_squared_error', optimizer='adam')

Wenn ich jedoch weiter trainiere mit 

filepath="Word2vec-{Epoch:02d}-{loss:.4f}.hdf5"
checkpoint = ModelCheckpoint(filepath, monitor='loss', verbose=1, save_best_only=True, mode='min')
callbacks_list = [checkpoint]
# fit the model
model.fit(x, y, epochs=40, batch_size=50, callbacks=callbacks_list)

Der Verlust ist so hoch wie im Ausgangszustand.

Ich suchte und fand einige Beispiele zum Speichern und Laden von Modellen: http://machinelearningmastery.com/save-load-keras-deep-learning-models/https: // github. de/fchollet/keras/fragen/1872

Aber keiner von ihnen funktioniert. Kann mir jemand helfen? Vielen Dank.

Update

Ein trainiertes Keras-Modell laden und das Training fortsetzen

Ich habe es versucht 

model.save('partly_trained.h5')
del model
load_model('partly_trained.h5')

es klappt. Aber wenn ich Python geschlossen habe, öffne und load_model erneut. Es schlägt fehl. Der Verlust ist so hoch wie im Ausgangszustand.

Update

Ich habe Yu-Yangs Beispielcode ausprobiert. Es klappt. Aber zurück zu meinem Code habe ich immer noch versagt .. Dies ist das ursprüngliche Training. Die zweite Epoche sollte mit einem Verlust von 3,1 beginnen. 

13700/13846 [============================>.] - ETA: 0s - loss: 3.0519
13750/13846 [============================>.] - ETA: 0s - loss: 3.0511
13800/13846 [============================>.] - ETA: 0s - loss: 3.0512Epoch 00000: loss improved from inf to 3.05101, saving model to LPT-00-3.0510.h5

13846/13846 [==============================] - 81s - loss: 3.0510    
Epoch 2/60

   50/13846 [..............................] - ETA: 80s - loss: 3.1754
  100/13846 [..............................] - ETA: 78s - loss: 3.1174
  150/13846 [..............................] - ETA: 78s - loss: 3.0745

Ich habe Python geschlossen und es wieder geöffnet. Geladenes Modell mit model = load_model("LPT-00-3.0510.h5"), dann trainieren Sie mit 

filepath="LPT-{Epoch:02d}-{loss:.4f}.h5"
checkpoint = ModelCheckpoint(filepath, monitor='loss', verbose=1, save_best_only=True, mode='min')
callbacks_list = [checkpoint]
# fit the model
model.fit(x, y, epochs=60, batch_size=50, callbacks=callbacks_list)

Der Verlust beginnt mit 4,54.

Epoch 1/60
   50/13846 [..............................] - ETA: 162s - loss: 4.5451
   100/13846 [..............................] - ETA: 113s - loss: 4.3835