একটি আরএনএন সহ পাঠ্য শ্রেণীবদ্ধকরণ

TensorFlow.org এ দেখুন Google Colab-এ চালান GitHub-এ উৎস দেখুন নোটবুক ডাউনলোড করুন

এই টেক্সট শ্রেণীবিন্যাস টিউটোরিয়াল একটি ট্রেনের পৌনঃপুনিক স্নায়ুর নেটওয়ার্ক উপর IMDB, বড় সিনেমা পর্যালোচনা ডেটা সেটটি অনুভূতি বিশ্লেষণের জন্য।

সেটআপ

import numpy as np

import tensorflow_datasets as tfds
import tensorflow as tf

tfds.disable_progress_bar()

আমদানি matplotlib এবং চক্রান্ত গ্রাফ করার জন্য একটি সাহায্যকারী ফাংশন তৈরি করুন:

import matplotlib.pyplot as plt


def plot_graphs(history, metric):
  plt.plot(history.history[metric])
  plt.plot(history.history['val_'+metric], '')
  plt.xlabel("Epochs")
  plt.ylabel(metric)
  plt.legend([metric, 'val_'+metric])

ইনপুট পাইপলাইন সেটআপ করুন

IMDB, বড় সিনেমা পর্যালোচনা ডেটা সেটটি একটি বাইনারি শ্রেণীবিন্যাস ডেটা সেটটি-সকল পর্যালোচনা হয় একটি ইতিবাচক বা নেতিবাচক মনোভাব আছে।

ডেটা সেটটি ডাউনলোড ব্যবহার TFDS । দেখুন লোডিং টেক্সট টিউটোরিয়াল কিভাবে ম্যানুয়ালি ডেটার এই ধরনের লোড করতে বিস্তারিত।

dataset, info = tfds.load('imdb_reviews', with_info=True,
                          as_supervised=True)
train_dataset, test_dataset = dataset['train'], dataset['test']

train_dataset.element_spec

(TensorSpec(shape=(), dtype=tf.string, name=None),
 TensorSpec(shape=(), dtype=tf.int64, name=None))

প্রাথমিকভাবে এটি (পাঠ্য, লেবেল জোড়া) এর একটি ডেটাসেট প্রদান করে:

for example, label in train_dataset.take(1):
  print('text: ', example.numpy())
  print('label: ', label.numpy())

text:  b"This was an absolutely terrible movie. Don't be lured in by Christopher Walken or Michael Ironside. Both are great actors, but this must simply be their worst role in history. Even their great acting could not redeem this movie's ridiculous storyline. This movie is an early nineties US propaganda piece. The most pathetic scenes were those when the Columbian rebels were making their cases for revolutions. Maria Conchita Alonso appeared phony, and her pseudo-love affair with Walken was nothing but a pathetic emotional plug in a movie that was devoid of any real meaning. I am disappointed that there are movies like this, ruining actor's like Christopher Walken's good name. I could barely sit through it."
label:  0

পরবর্তী প্রশিক্ষণ জন্য তথ্য পরিহার এবং এগুলোর ব্যাচ তৈরি (text, label) জোড়া:

BUFFER_SIZE = 10000
BATCH_SIZE = 64

train_dataset = train_dataset.shuffle(BUFFER_SIZE).batch(BATCH_SIZE).prefetch(tf.data.AUTOTUNE)
test_dataset = test_dataset.batch(BATCH_SIZE).prefetch(tf.data.AUTOTUNE)

for example, label in train_dataset.take(1):
  print('texts: ', example.numpy()[:3])
  print()
  print('labels: ', label.numpy()[:3])

texts:  [b'This is arguably the worst film I have ever seen, and I have quite an appetite for awful (and good) movies. It could (just) have managed a kind of adolescent humour if it had been consistently tongue-in-cheek --\xc3\xa0 la ROCKY HORROR PICTURE SHOW, which was really very funny. Other movies, like PLAN NINE FROM OUTER SPACE, manage to be funny while (apparently) trying to be serious. As to the acting, it looks like they rounded up brain-dead teenagers and asked them to ad-lib the whole production. Compared to them, Tom Cruise looks like Alec Guinness. There was one decent interpretation -- that of the older ghoul-busting broad on the motorcycle.'
 b"I saw this film in the worst possible circumstance. I'd already missed 15 minutes when I woke up to it on an international flight between Sydney and Seoul. I didn't know what I was watching, I thought maybe it was a movie of the week, but quickly became riveted by the performance of the lead actress playing a young woman who's child had been kidnapped. The premise started taking twist and turns I didn't see coming and by the end credits I was scrambling through the the in-flight guide to figure out what I had just watched. Turns out I was belatedly discovering Do-yeon Jeon who'd won Best Actress at Cannes for the role. I don't know if Secret Sunshine is typical of Korean cinema but I'm off to the DVD store to discover more."
 b"Hello. I am Paul Raddick, a.k.a. Panic Attack of WTAF, Channel 29 in Philadelphia. Let me tell you about this god awful movie that powered on Adam Sandler's film career but was digitized after a short time.<br /><br />Going Overboard is about an aspiring comedian played by Sandler who gets a job on a cruise ship and fails...or so I thought. Sandler encounters babes that like History of the World Part 1 and Rebound. The babes were supposed to be engaged, but, actually, they get executed by Sawtooth, the meanest cannibal the world has ever known. Adam Sandler fared bad in Going Overboard, but fared better in Big Daddy, Billy Madison, and Jen Leone's favorite, 50 First Dates. Man, Drew Barrymore was one hot chick. Spanglish is red hot, Going Overboard ain't Dooley squat! End of file."]

labels:  [0 1 0]

টেক্সট এনকোডার তৈরি করুন

কাঁচা টেক্সট দ্বারা লোড tfds আগেই একটি মডেল ব্যবহার করা যেতে পারে প্রক্রিয়া করা প্রয়োজন। প্রশিক্ষণের জন্য প্রক্রিয়া পাঠ্যে সহজ উপায় ব্যবহার করছে TextVectorization স্তর। এই স্তরটির অনেক ক্ষমতা রয়েছে, কিন্তু এই টিউটোরিয়ালটি ডিফল্ট আচরণে আটকে আছে।

লেয়ার তৈরি করুন, এবং লেয়ার এর ডেটা সেটটি টেক্সট পাস .adapt পদ্ধতি:

VOCAB_SIZE = 1000
encoder = tf.keras.layers.TextVectorization(
    max_tokens=VOCAB_SIZE)
encoder.adapt(train_dataset.map(lambda text, label: text))

.adapt পদ্ধতি লেয়ারটির শব্দভান্ডার সেট করে। এখানে প্রথম 20 টোকেন আছে. প্যাডিং এবং অজানা টোকেনগুলির পরে তারা ফ্রিকোয়েন্সি অনুসারে সাজানো হয়েছে:

vocab = np.array(encoder.get_vocabulary())
vocab[:20]

array(['', '[UNK]', 'the', 'and', 'a', 'of', 'to', 'is', 'in', 'it', 'i',
       'this', 'that', 'br', 'was', 'as', 'for', 'with', 'movie', 'but'],
      dtype='<U14')

একবার শব্দভান্ডার সেট হয়ে গেলে, স্তরটি পাঠ্যকে সূচকে এনকোড করতে পারে। সূচকের tensors ব্যাচ দীর্ঘতম ক্রম 0-padded হয় (যদি না আপনি একটি নির্দিষ্ট সেট output_sequence_length ):

encoded_example = encoder(example)[:3].numpy()
encoded_example

array([[ 11,   7,   1, ...,   0,   0,   0],
       [ 10, 208,  11, ...,   0,   0,   0],
       [  1,  10, 237, ...,   0,   0,   0]])

ডিফল্ট সেটিংস সহ, প্রক্রিয়াটি সম্পূর্ণরূপে বিপরীত হয় না। এর তিনটি প্রধান কারণ রয়েছে:

  1. জন্য ডিফল্ট মান preprocessing.TextVectorization এর standardize যুক্তি "lower_and_strip_punctuation" ।
  2. সীমিত শব্দভান্ডারের আকার এবং অক্ষর-ভিত্তিক ফলব্যাকের অভাব কিছু অজানা টোকেন তৈরি করে।
for n in range(3):
  print("Original: ", example[n].numpy())
  print("Round-trip: ", " ".join(vocab[encoded_example[n]]))
  print()

Original:  b'This is arguably the worst film I have ever seen, and I have quite an appetite for awful (and good) movies. It could (just) have managed a kind of adolescent humour if it had been consistently tongue-in-cheek --\xc3\xa0 la ROCKY HORROR PICTURE SHOW, which was really very funny. Other movies, like PLAN NINE FROM OUTER SPACE, manage to be funny while (apparently) trying to be serious. As to the acting, it looks like they rounded up brain-dead teenagers and asked them to ad-lib the whole production. Compared to them, Tom Cruise looks like Alec Guinness. There was one decent interpretation -- that of the older ghoul-busting broad on the motorcycle.'
Round-trip:  this is [UNK] the worst film i have ever seen and i have quite an [UNK] for awful and good movies it could just have [UNK] a kind of [UNK] [UNK] if it had been [UNK] [UNK] [UNK] la [UNK] horror picture show which was really very funny other movies like [UNK] [UNK] from [UNK] space [UNK] to be funny while apparently trying to be serious as to the acting it looks like they [UNK] up [UNK] [UNK] and [UNK] them to [UNK] the whole production [UNK] to them tom [UNK] looks like [UNK] [UNK] there was one decent [UNK] that of the older [UNK] [UNK] on the [UNK]                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               

Original:  b"I saw this film in the worst possible circumstance. I'd already missed 15 minutes when I woke up to it on an international flight between Sydney and Seoul. I didn't know what I was watching, I thought maybe it was a movie of the week, but quickly became riveted by the performance of the lead actress playing a young woman who's child had been kidnapped. The premise started taking twist and turns I didn't see coming and by the end credits I was scrambling through the the in-flight guide to figure out what I had just watched. Turns out I was belatedly discovering Do-yeon Jeon who'd won Best Actress at Cannes for the role. I don't know if Secret Sunshine is typical of Korean cinema but I'm off to the DVD store to discover more."
Round-trip:  i saw this film in the worst possible [UNK] id already [UNK] [UNK] minutes when i [UNK] up to it on an [UNK] [UNK] between [UNK] and [UNK] i didnt know what i was watching i thought maybe it was a movie of the [UNK] but quickly became [UNK] by the performance of the lead actress playing a young woman whos child had been [UNK] the premise started taking twist and turns i didnt see coming and by the end credits i was [UNK] through the the [UNK] [UNK] to figure out what i had just watched turns out i was [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] best actress at [UNK] for the role i dont know if secret [UNK] is typical of [UNK] cinema but im off to the dvd [UNK] to [UNK] more                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     

Original:  b"Hello. I am Paul Raddick, a.k.a. Panic Attack of WTAF, Channel 29 in Philadelphia. Let me tell you about this god awful movie that powered on Adam Sandler's film career but was digitized after a short time.<br /><br />Going Overboard is about an aspiring comedian played by Sandler who gets a job on a cruise ship and fails...or so I thought. Sandler encounters babes that like History of the World Part 1 and Rebound. The babes were supposed to be engaged, but, actually, they get executed by Sawtooth, the meanest cannibal the world has ever known. Adam Sandler fared bad in Going Overboard, but fared better in Big Daddy, Billy Madison, and Jen Leone's favorite, 50 First Dates. Man, Drew Barrymore was one hot chick. Spanglish is red hot, Going Overboard ain't Dooley squat! End of file."
Round-trip:  [UNK] i am paul [UNK] [UNK] [UNK] [UNK] of [UNK] [UNK] [UNK] in [UNK] let me tell you about this god awful movie that [UNK] on [UNK] [UNK] film career but was [UNK] after a short [UNK] br going [UNK] is about an [UNK] [UNK] played by [UNK] who gets a job on a [UNK] [UNK] and [UNK] so i thought [UNK] [UNK] [UNK] that like history of the world part 1 and [UNK] the [UNK] were supposed to be [UNK] but actually they get [UNK] by [UNK] the [UNK] [UNK] the world has ever known [UNK] [UNK] [UNK] bad in going [UNK] but [UNK] better in big [UNK] [UNK] [UNK] and [UNK] [UNK] favorite [UNK] first [UNK] man [UNK] [UNK] was one hot [UNK] [UNK] is red hot going [UNK] [UNK] [UNK] [UNK] end of [UNK]

মডেল তৈরি করুন

মডেলে তথ্য প্রবাহের একটি অঙ্কন

উপরে মডেলের একটি চিত্র।

  1. এই মডেল হিসেবে বিল্ড হতে পারে tf.keras.Sequential ।

  2. প্রথম স্তর encoder , যা টোকেন সূচকের একটা ক্রম পাঠ্য পরিবর্তন করে।

  3. এনকোডারের পরে একটি এমবেডিং স্তর। একটি এমবেডিং স্তর প্রতি শব্দে একটি ভেক্টর সঞ্চয় করে। যখন বলা হয়, এটি শব্দ সূচকের ক্রমগুলিকে ভেক্টরের ক্রমগুলিতে রূপান্তর করে। এই ভেক্টর প্রশিক্ষিত হয়. প্রশিক্ষণের পরে (পর্যাপ্ত ডেটাতে), একই অর্থ সহ শব্দগুলির প্রায়শই একই ভেক্টর থাকে।

    এই সূচক-লুকআপ অনেকটা মাধ্যমে একটি এক গরম এনকোডেড ভেক্টর ক্ষণস্থায়ী সমতুল্য অপারেশন অধিক কার্যকরী হয় tf.keras.layers.Dense স্তর।

  4. একটি পুনরাবৃত্ত নিউরাল নেটওয়ার্ক (RNN) উপাদানগুলির মাধ্যমে পুনরাবৃত্তি করে সিকোয়েন্স ইনপুট প্রক্রিয়া করে। আরএনএনগুলি একটি টাইমস্টেপ থেকে পরবর্তী টাইমস্টেপে তাদের ইনপুটে আউটপুট পাস করে।

    tf.keras.layers.Bidirectional মোড়কের এছাড়াও একটি RNN স্তর ব্যবহার করা যাবে। এটি RNN স্তরের মাধ্যমে ইনপুটকে সামনে এবং পিছনের দিকে প্রচার করে এবং তারপর চূড়ান্ত আউটপুটকে সংযুক্ত করে।

    • একটি দ্বিমুখী RNN-এর প্রধান সুবিধা হল যে ইনপুটের শুরু থেকে সংকেতটি আউটপুটকে প্রভাবিত করার জন্য প্রতিটি টাইমস্টেপের মাধ্যমে প্রক্রিয়া করার প্রয়োজন হয় না।

    • দ্বিমুখী RNN-এর প্রধান অসুবিধা হল যে আপনি দক্ষতার সাথে ভবিষ্যদ্বাণীগুলি স্ট্রিম করতে পারবেন না কারণ শব্দগুলি শেষে যোগ করা হচ্ছে৷

  5. পরে RNN একটি একক ভেক্টর করার অনুক্রম রূপান্তরিত হয়েছে দুই layers.Dense শ্রেণীবিন্যাস আউটপুট হিসাবে একটি একক logit এই ভেক্টর উপস্থাপনা থেকে কিছু চূড়ান্ত প্রক্রিয়াকরণ, এবং ধর্মান্তরিত না।

এটি বাস্তবায়নের কোডটি নিম্নরূপ:

model = tf.keras.Sequential([
    encoder,
    tf.keras.layers.Embedding(
        input_dim=len(encoder.get_vocabulary()),
        output_dim=64,
        # Use masking to handle the variable sequence lengths
        mask_zero=True),
    tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(64)),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(1)
])

অনুগ্রহ করে মনে রাখবেন যে কেরাস ক্রমিক মডেলটি এখানে ব্যবহার করা হয়েছে যেহেতু মডেলের সমস্ত স্তরগুলিতে শুধুমাত্র একক ইনপুট রয়েছে এবং একক আউটপুট তৈরি করে। আপনি যদি স্টেটফুল আরএনএন লেয়ার ব্যবহার করতে চান, আপনি কেরাস ফাংশনাল এপিআই বা মডেল সাবক্লাসিং দিয়ে আপনার মডেল তৈরি করতে চাইতে পারেন যাতে আপনি আরএনএন লেয়ার স্টেটগুলি পুনরুদ্ধার করতে এবং পুনরায় ব্যবহার করতে পারেন। দয়া করে চেক করুন Keras RNN নির্দেশিকা আরো বিস্তারিত জানার জন্য।

এম্বেডিং স্তর মাস্কিং ব্যবহার তারতম্য ক্রম-লেন্থ হ্যান্ডেল করতে। পরে সকল স্তর Embedding সমর্থন মাস্কিং:

print([layer.supports_masking for layer in model.layers])

[False, True, True, True, True]

এটি প্রত্যাশিত হিসাবে কাজ করে তা নিশ্চিত করতে, একটি বাক্যকে দুবার মূল্যায়ন করুন। প্রথমত, একা তাই মাস্ক করার জন্য কোন প্যাডিং নেই:

# predict on a sample text without padding.

sample_text = ('The movie was cool. The animation and the graphics '
               'were out of this world. I would recommend this movie.')
predictions = model.predict(np.array([sample_text]))
print(predictions[0])

[-0.00012211]

এখন, একটি দীর্ঘ বাক্য সহ একটি ব্যাচে এটি আবার মূল্যায়ন করুন। ফলাফল অভিন্ন হওয়া উচিত:

# predict on a sample text with padding

padding = "the " * 2000
predictions = model.predict(np.array([sample_text, padding]))
print(predictions[0])

[-0.00012211]

প্রশিক্ষণ প্রক্রিয়া কনফিগার করতে Keras মডেল কম্পাইল করুন:

model.compile(loss=tf.keras.losses.BinaryCrossentropy(from_logits=True),
              optimizer=tf.keras.optimizers.Adam(1e-4),
              metrics=['accuracy'])

মডেলকে প্রশিক্ষণ দিন

history = model.fit(train_dataset, epochs=10,
                    validation_data=test_dataset,
                    validation_steps=30)

Epoch 1/10
391/391 [==============================] - 39s 84ms/step - loss: 0.6454 - accuracy: 0.5630 - val_loss: 0.4888 - val_accuracy: 0.7568
Epoch 2/10
391/391 [==============================] - 30s 75ms/step - loss: 0.3925 - accuracy: 0.8200 - val_loss: 0.3663 - val_accuracy: 0.8464
Epoch 3/10
391/391 [==============================] - 30s 75ms/step - loss: 0.3319 - accuracy: 0.8525 - val_loss: 0.3402 - val_accuracy: 0.8385
Epoch 4/10
391/391 [==============================] - 30s 75ms/step - loss: 0.3183 - accuracy: 0.8616 - val_loss: 0.3289 - val_accuracy: 0.8438
Epoch 5/10
391/391 [==============================] - 30s 75ms/step - loss: 0.3088 - accuracy: 0.8656 - val_loss: 0.3254 - val_accuracy: 0.8646
Epoch 6/10
391/391 [==============================] - 32s 81ms/step - loss: 0.3043 - accuracy: 0.8686 - val_loss: 0.3242 - val_accuracy: 0.8521
Epoch 7/10
391/391 [==============================] - 30s 76ms/step - loss: 0.3019 - accuracy: 0.8696 - val_loss: 0.3315 - val_accuracy: 0.8609
Epoch 8/10
391/391 [==============================] - 32s 76ms/step - loss: 0.3007 - accuracy: 0.8688 - val_loss: 0.3245 - val_accuracy: 0.8609
Epoch 9/10
391/391 [==============================] - 31s 77ms/step - loss: 0.2981 - accuracy: 0.8707 - val_loss: 0.3294 - val_accuracy: 0.8599
Epoch 10/10
391/391 [==============================] - 31s 78ms/step - loss: 0.2969 - accuracy: 0.8742 - val_loss: 0.3218 - val_accuracy: 0.8547

test_loss, test_acc = model.evaluate(test_dataset)

print('Test Loss:', test_loss)
print('Test Accuracy:', test_acc)

391/391 [==============================] - 15s 38ms/step - loss: 0.3185 - accuracy: 0.8582
Test Loss: 0.3184521794319153
Test Accuracy: 0.8581600189208984

plt.figure(figsize=(16, 8))
plt.subplot(1, 2, 1)
plot_graphs(history, 'accuracy')
plt.ylim(None, 1)
plt.subplot(1, 2, 2)
plot_graphs(history, 'loss')
plt.ylim(0, None)

(0.0, 0.6627909764647484)

png

একটি নতুন বাক্যে একটি ভবিষ্যদ্বাণী চালান:

যদি ভবিষ্যদ্বাণী >= 0.0 হয়, এটি ইতিবাচক অন্যথায় এটি নেতিবাচক।

sample_text = ('The movie was cool. The animation and the graphics '
               'were out of this world. I would recommend this movie.')
predictions = model.predict(np.array([sample_text]))

দুই বা ততোধিক LSTM স্তরগুলি স্ট্যাক করুন

Keras পৌনঃপুনিক স্তর দুই প্রাপ্তিসাধ্য মোড যে দ্বারা নিয়ন্ত্রিত হয় আছে return_sequences কন্সট্রাকটর যুক্তি:

  • যদি False প্রতিটি ইনপুট ক্রম জন্য শুধুমাত্র গত আউটপুট ফেরৎ (আকৃতি (batch_size একটি 2D টেন্সর, output_features))। এটি পূর্ববর্তী মডেলে ব্যবহৃত ডিফল্ট।

  • যদি True প্রতিটি timestep জন্য ধারাবাহিক আউটপুট পূর্ণ সিকোয়েন্স ফিরিয়ে দেওয়া হয় (আকৃতি একটি 3D টেন্সর (batch_size, timesteps, output_features) )।

এখানে কি সঙ্গে মত তথ্য সৌন্দর্য প্রবাহ return_sequences=True :

স্তরযুক্ত_দ্বিমুখী

একটি ব্যবহার সম্পর্কে মজার বিষয় RNN সঙ্গে return_sequences=True আউটপুট এখনও 3-অক্ষ আছে, ইনপুট মত, তাই এটি অন্য RNN স্তর পাস করা যেতে পারে, এই মত হল:

model = tf.keras.Sequential([
    encoder,
    tf.keras.layers.Embedding(len(encoder.get_vocabulary()), 64, mask_zero=True),
    tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(64,  return_sequences=True)),
    tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(32)),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dropout(0.5),
    tf.keras.layers.Dense(1)
])

model.compile(loss=tf.keras.losses.BinaryCrossentropy(from_logits=True),
              optimizer=tf.keras.optimizers.Adam(1e-4),
              metrics=['accuracy'])

history = model.fit(train_dataset, epochs=10,
                    validation_data=test_dataset,
                    validation_steps=30)

Epoch 1/10
391/391 [==============================] - 71s 149ms/step - loss: 0.6502 - accuracy: 0.5625 - val_loss: 0.4923 - val_accuracy: 0.7573
Epoch 2/10
391/391 [==============================] - 55s 138ms/step - loss: 0.4067 - accuracy: 0.8198 - val_loss: 0.3727 - val_accuracy: 0.8271
Epoch 3/10
391/391 [==============================] - 54s 136ms/step - loss: 0.3417 - accuracy: 0.8543 - val_loss: 0.3343 - val_accuracy: 0.8510
Epoch 4/10
391/391 [==============================] - 53s 134ms/step - loss: 0.3242 - accuracy: 0.8607 - val_loss: 0.3268 - val_accuracy: 0.8568
Epoch 5/10
391/391 [==============================] - 53s 135ms/step - loss: 0.3174 - accuracy: 0.8652 - val_loss: 0.3213 - val_accuracy: 0.8516
Epoch 6/10
391/391 [==============================] - 52s 132ms/step - loss: 0.3098 - accuracy: 0.8671 - val_loss: 0.3294 - val_accuracy: 0.8547
Epoch 7/10
391/391 [==============================] - 53s 134ms/step - loss: 0.3063 - accuracy: 0.8697 - val_loss: 0.3158 - val_accuracy: 0.8594
Epoch 8/10
391/391 [==============================] - 52s 132ms/step - loss: 0.3043 - accuracy: 0.8692 - val_loss: 0.3184 - val_accuracy: 0.8521
Epoch 9/10
391/391 [==============================] - 53s 133ms/step - loss: 0.3016 - accuracy: 0.8704 - val_loss: 0.3208 - val_accuracy: 0.8609
Epoch 10/10
391/391 [==============================] - 54s 136ms/step - loss: 0.2975 - accuracy: 0.8740 - val_loss: 0.3301 - val_accuracy: 0.8651

test_loss, test_acc = model.evaluate(test_dataset)

print('Test Loss:', test_loss)
print('Test Accuracy:', test_acc)

391/391 [==============================] - 26s 65ms/step - loss: 0.3293 - accuracy: 0.8646
Test Loss: 0.329334557056427
Test Accuracy: 0.8646399974822998

# predict on a sample text without padding.

sample_text = ('The movie was not good. The animation and the graphics '
               'were terrible. I would not recommend this movie.')
predictions = model.predict(np.array([sample_text]))
print(predictions)

[[-1.6796288]]

plt.figure(figsize=(16, 6))
plt.subplot(1, 2, 1)
plot_graphs(history, 'accuracy')
plt.subplot(1, 2, 2)
plot_graphs(history, 'loss')

png

যেমন অন্যান্য বিদ্যমান পৌনঃপুনিক স্তর পরীক্ষা করে দেখুন GRU স্তর ।

কাস্টম RNNs নির্মাণের interestied হন, তাহলে দেখুন Keras RNN গাইড ।