בנייה מהמקור

בנה חבילת TensorFlow pip מהמקור והתקן אותה על אובונטו לינוקס ו-macOS. למרות שההוראות עשויות לעבוד עבור מערכות אחרות, הן נבדקות ונתמכות רק עבור אובונטו ו-macOS.

הגדרה עבור לינוקס ו-macOS

התקן את כלי הבנייה הבאים כדי להגדיר את סביבת הפיתוח שלך.

התקן את Python ואת התלות בחבילת TensorFlow

sudo apt install python3-dev python3-pip

brew install python

התקן את התלות בחבילת TensorFlow pip (אם אתה משתמש בסביבה וירטואלית, השמט את הארגומנט --user ):

pip install -U --user pip

התקן את Bazel

כדי לבנות את TensorFlow, תצטרך להתקין את Bazel. Bazelisk היא דרך קלה להתקין את Bazel ומוריד אוטומטית את גרסת Bazel הנכונה עבור TensorFlow. לנוחות השימוש, הוסף את Bazelisk כקובץ ההפעלה bazel ב- PATH שלך.

אם Bazelisk אינו זמין, תוכל להתקין את Bazel באופן ידני. הקפד להתקין את גרסת Bazel הנכונה מקובץ ה-.bazelversion של TensorFlow.

התקן Clang (מומלץ, לינוקס בלבד)

Clang הוא מהדר C/C++/Objective-C אשר מורכב ב-C++ על בסיס LLVM. זהו מהדר ברירת המחדל לבניית TensorFlow החל מ- TensorFlow 2.13. הגרסה הנתמכת הנוכחית היא LLVM/Clang 17.

חבילות לילה של LLVM Debian/Ubuntu מספקות סקריפט התקנה אוטומטי וחבילות להתקנה ידנית בלינוקס. ודא שאתה מפעיל את הפקודה הבאה אם ​​אתה מוסיף ידנית llvm apt repository למקורות החבילה שלך:

sudo apt-get update && sudo apt-get install -y llvm-17 clang-17

עכשיו ש- /usr/lib/llvm-17/bin/clang הוא הנתיב האמיתי ל-clang במקרה זה.

לחלופין, אתה יכול להוריד ולפרוק את ה- Clang + LLVM 17 המובנה מראש.

להלן דוגמה לצעדים שתוכל לנקוט כדי להגדיר את הקבצים הבינאריים Clang + LLVM 17 שהורדת במערכות ההפעלה של Debian/Ubuntu:

1. שנה לספריית היעד הרצויה: cd <desired directory>

2. טען וחלץ קובץ ארכיון...(מתאים לארכיטקטורה שלך):

   wget https://github.com/llvm/llvm-project/releases/download/llvmorg-17.0.2/clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   
   tar -xvf clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   
   

3. העתק את התוכן שחולץ (ספריות וקבצים) אל /usr (ייתכן שתזדקק להרשאות sudo, והספרייה הנכונה עשויה להשתנות בהתאם להפצה). זה למעשה מתקין את Clang ו-LLVM ומוסיף אותם לנתיב. אתה לא צריך להחליף שום דבר, אלא אם כן יש לך התקנה קודמת, ובמקרה זה עליך להחליף את הקבצים:

   cp -r clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04/* /usr
   

4. בדוק את הגרסה הבינארית של Clang + LLVM 17 שהתקבלה:

   clang --version
   

5. עכשיו ש- /usr/bin/clang הוא הנתיב האמיתי ל-clang החדש שלך. אתה יכול להפעיל את הסקריפט ./configure או להגדיר באופן ידני את משתני הסביבה CC ו- BAZEL_COMPILER לנתיב זה.

התקן תמיכה ב-GPU (אופציונלי, לינוקס בלבד)

אין תמיכה ב-GPU עבור macOS.

קרא את מדריך התמיכה של GPU כדי להתקין את מנהלי ההתקן והתוכנות הנוספות הנדרשות להפעלת TensorFlow על GPU.

הורד את קוד המקור של TensorFlow

השתמש ב-Git כדי לשבט את מאגר TensorFlow :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

ברירת המחדל של ה-repo הוא ענף הפיתוח master . אתה יכול גם לבדוק סניף שחרור לבנייה:

git checkout branch_name  # r2.2, r2.3, etc.

הגדר את ה-build

בניית TensorFlow מוגדרת על ידי קובץ .bazelrc בספריית השורש של המאגר. ניתן להשתמש בסקריפטים ./configure או ./configure.py כדי להתאים הגדרות נפוצות.

אנא הפעל את הסקריפט ./configure מספריית השורש של המאגר. סקריפט זה יבקש ממך את מיקום התלות של TensorFlow ויבקש אפשרויות תצורת בנייה נוספות (דגלים מהדר, למשל). עיין בסעיף הפעלה לדוגמה לפרטים.

./configure

יש גם גרסת פיתון של הסקריפט הזה, ./configure.py . אם משתמשים בסביבה וירטואלית, python configure.py נותן עדיפות לנתיבים בתוך הסביבה, בעוד ש ./configure נותן עדיפות לנתיבים מחוץ לסביבה. בשני המקרים ניתן לשנות את ברירת המחדל.

מפגש לדוגמא

להלן מופע דוגמה של ./configure script (ההפעלה שלך עשויה להיות שונה):

./configure
You have bazel 6.1.0 installed.
Please specify the location of python. [Default is /Library/Frameworks/Python.framework/Versions/3.9/bin/python3]: 


Found possible Python library paths:
  /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Please input the desired Python library path to use.  Default is [/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]:
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]:
No CUDA support will be enabled for TensorFlow.

Do you want to use Clang to build TensorFlow? [Y/n]:
Clang will be used to compile TensorFlow.

Please specify the path to clang executable. [Default is /usr/lib/llvm-16/bin/clang]:

You have Clang 16.0.4 installed.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -Wno-sign-compare]:


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.

Do you wish to build TensorFlow with iOS support? [y/N]: n
No iOS support will be enabled for TensorFlow.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
    --config=monolithic     # Config for mostly static monolithic build.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=nogcp          # Disable GCP support.
    --config=nonccl         # Disable NVIDIA NCCL support.

אפשרויות תצורה

תמיכה ב-GPU

מגרסה 2.18.0

לתמיכה ב-GPU , הגדר cuda=Y במהלך התצורה וציין את הגרסאות של CUDA ו-cuDNN אם נדרש. Bazel יוריד חבילות CUDA ו-CUDNN באופן אוטומטי או יצביע על הפצות מחדש של CUDA/CUDNN/NCCL במערכת הקבצים המקומית במידת הצורך.

לפני v.2.18.0

לתמיכה ב-GPU , הגדר cuda=Y במהלך התצורה וציין את הגרסאות של CUDA ו-cuDNN. אם למערכת שלך מותקנות מספר גרסאות של CUDA או cuDNN, הגדר במפורש את הגרסה במקום להסתמך על ברירת המחדל. ./configure יוצר קישורים סמליים לספריות ה-CUDA של המערכת שלך - כך שאם אתה מעדכן את נתיבי ספריית ה-CUDA שלך, יש להפעיל את שלב התצורה הזה שוב לפני הבנייה.

אופטימיזציות

עבור דגלי אופטימיזציה של קומפילציה, ברירת המחדל ( -march=native ) מייעלת את הקוד שנוצר עבור סוג ה-CPU של המחשב שלך. עם זאת, אם בונים את TensorFlow עבור סוג CPU אחר, שקול דגל אופטימיזציה ספציפי יותר. עיין במדריך של GCC לקבלת דוגמאות.

תצורות מוגדרות מראש

ישנן כמה תצורות בנייה מוגדרות מראש שניתן להוסיף לפקודת ה- bazel build , למשל:

• --config=dbg —בנה עם מידע על ניפוי באגים. ראה CONTRIBUTING.md לפרטים.
• --config=mkl —תמיכה עבור Intel® MKL-DNN .
• --config=monolithic —תצורה למבנה סטטי ומונוליטי ברובו.

בנה והתקן את חבילת ה-pip

אפשרויות בנייה של Bazel

עיין בהפניה לשורת הפקודה של Bazel עבור אפשרויות בנייה .

בניית TensorFlow ממקור יכולה להשתמש בהרבה זיכרון RAM. אם המערכת שלך מוגבלת בזיכרון, הגבל את השימוש ב-RAM של Bazel באמצעות: --local_ram_resources=2048 .

החבילות הרשמיות של TensorFlow בנויות עם שרשרת כלים של Clang התואמת את תקן החבילה manylinux2014.

בנה את החבילה

כדי לבנות חבילת pip, עליך לציין --repo_env=WHEEL_NAME . בהתאם לשם שסופק, תיווצר חבילה, למשל:

כדי לבנות חבילת מעבד tensorflow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_cpu

כדי לבנות חבילת tensorflow GPU:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow --config=cuda --config=cuda_wheel

כדי לבנות חבילת tensorflow TPU:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_tpu --config=tpu

כדי לבנות חבילה לילית, הגדר tf_nightly במקום tensorflow , למשל כדי לבנות חבילה לילית של CPU:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tf_nightly_cpu

כתוצאה מכך, הגלגל שנוצר יהיה ממוקם ב

bazel-bin/tensorflow/tools/pip_package/wheel_house/

התקן את החבילה

שם הקובץ של קובץ .whl שנוצר תלוי בגרסת TensorFlow ובפלטפורמה שלך. השתמש pip install כדי להתקין את החבילה, לדוגמה:

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

בונה Docker Linux

תמונות פיתוח Docker של TensorFlow הן דרך קלה להגדיר סביבה לבניית חבילות לינוקס מהמקור. תמונות אלו כבר מכילות את קוד המקור והתלות הנדרשים לבניית TensorFlow. עבור למדריך TensorFlow Docker לקבלת הוראות התקנה ורשימת תגי התמונה הזמינים .

מעבד בלבד

הדוגמה הבאה משתמשת בתמונה :devel כדי לבנות חבילה למעבד בלבד מקוד המקור העדכני ביותר של TensorFlow. עיין במדריך Docker עבור תגיות TensorFlow -devel זמינות.

הורד את תמונת הפיתוח העדכנית והתחל קונטיינר Docker שבו תשתמש לבניית חבילת ה-pip :

docker pull tensorflow/tensorflow:devel
docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel bash

git pull  # within the container, download the latest source code

פקודת docker run לעיל מתחילה מעטפת בספריית /tensorflow_src - השורש של עץ המקור. זה מעלה את הספרייה הנוכחית של המארח בספריית /mnt של הקונטיינר, ומעבירה את המידע של המשתמש המארח לקונטיינר דרך משתנה סביבתי (המשמש להגדרת הרשאות - Docker יכול לעשות את זה מסובך).

לחלופין, כדי לבנות עותק מארח של TensorFlow בתוך קונטיינר, התקן את עץ המקור המארח בספריית /tensorflow של המיכל:

docker run -it -w /tensorflow -v /path/to/tensorflow:/tensorflow -v $PWD:/mnt \
    -e HOST_PERMS="\\((id -u):\\)(id -g)" tensorflow/tensorflow:devel bash

עם הגדרת עץ המקור, בנה את חבילת TensorFlow בתוך הסביבה הוירטואלית של המיכל:

1. אופציונלי: הגדר את ה-build - זה מבקש מהמשתמש לענות על שאלות תצורת build.
2. בנה את חבילת ה-pip .
3. התאם את הרשאות הבעלות של הקובץ מחוץ לקונטיינר.

./configure  # if necessary

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_cpu --config=opt
`
chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

התקן ואמת את החבילה בתוך המכולה:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(tf.__version__)"

במחשב המארח שלך, חבילת TensorFlow pip נמצאת בספרייה הנוכחית (עם הרשאות משתמש מארח): ./tensorflow- version - tags .whl

תמיכה ב-GPU

Docker היא הדרך הקלה ביותר לבנות תמיכה ב-GPU עבור TensorFlow מכיוון שהמכונה המארח דורשת רק את מנהל ההתקן של NVIDIA® (אין צורך להתקין את NVIDIA® CUDA® Toolkit ). עיין במדריך התמיכה ב-GPU ובמדריך TensorFlow Docker להגדרת nvidia-docer (לינוקס בלבד).

הדוגמה הבאה מורידה את תמונת TensorFlow :devel-gpu ומשתמשת nvidia-docker כדי להפעיל את המיכל התומך ב-GPU. תמונת פיתוח זו מוגדרת לבנות חבילת pip עם תמיכה ב-GPU:

docker pull tensorflow/tensorflow:devel-gpu
docker run --gpus all -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel-gpu bash
git pull  # within the container, download the latest source code

לאחר מכן, בתוך הסביבה הוירטואלית של המכולה, בנה את חבילת TensorFlow עם תמיכה ב-GPU:

./configure  # if necessary

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow --config=cuda --config=cuda_wheel --config=opt

chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

התקן ואמת את החבילה בתוך המכולה ובדוק אם יש GPU:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(\"Num GPUs Available: \", len(tf.config.list_physical_devices('GPU')))"

תצורות בנייה נבדקו

לינוקס

מעבד

GPU

macOS

מעבד

GPU