Construir desde la fuente

Cree un paquete pip de TensorFlow desde el código fuente e instálelo en Ubuntu Linux y macOS. Si bien las instrucciones pueden funcionar para otros sistemas, solo están probadas y son compatibles con Ubuntu y macOS.

Configuración para Linux y macOS

Instale las siguientes herramientas de compilación para configurar su entorno de desarrollo.

Instale Python y las dependencias del paquete TensorFlow

sudo apt install python3-dev python3-pip

brew install python

Instale las dependencias del paquete pip de TensorFlow (si usa un entorno virtual, omita el argumento --user ):

pip install -U --user pip

Instalar Bazel

Para compilar TensorFlow, necesitará instalar Bazel. Bazelisk es una manera fácil de instalar Bazel y descarga automáticamente la versión correcta de Bazel para TensorFlow. Para facilitar su uso, agregue Bazelisk como el ejecutable bazel en su PATH .

Si Bazelisk no está disponible, puede instalar Bazel manualmente. Asegúrese de instalar la versión correcta de Bazel desde el archivo .bazelversion de TensorFlow.

Instalar Clang (recomendado, solo Linux)

Clang es un compilador de C/C++/Objective-C que se compila en C++ basado en LLVM. Es el compilador predeterminado para compilar TensorFlow a partir de TensorFlow 2.13. La versión compatible actualmente es LLVM/Clang 17.

Los paquetes nocturnos de LLVM Debian/Ubuntu proporcionan un script de instalación automática y paquetes para la instalación manual en Linux. Asegúrese de ejecutar el siguiente comando si agrega manualmente el repositorio llvm apt a las fuentes de su paquete:

sudo apt-get update && sudo apt-get install -y llvm-17 clang-17

Ahora que /usr/lib/llvm-17/bin/clang es la ruta real a clang en este caso.

Alternativamente, puede descargar y descomprimir el Clang + LLVM 17 prediseñado.

A continuación se muestra un ejemplo de los pasos que puede seguir para configurar los archivos binarios Clang + LLVM 17 descargados en los sistemas operativos Debian/Ubuntu:

1. Cambie al directorio de destino deseado: cd <desired directory>

2. Cargue y extraiga un archivo comprimido... (adecuado a su arquitectura):

   wget https://github.com/llvm/llvm-project/releases/download/llvmorg-17.0.2/clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   
   tar -xvf clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04.tar.xz
   

3. Copie el contenido extraído (directorios y archivos) a /usr (es posible que necesite permisos sudo y el directorio correcto puede variar según la distribución). Esto instala efectivamente Clang y LLVM y los agrega a la ruta. No deberías tener que reemplazar nada, a menos que tengas una instalación previa, en cuyo caso deberás reemplazar los archivos:

   cp -r clang+llvm-17.0.2-x86_64-linux-gnu-ubuntu-22.04/* /usr

4. Verifique la versión de binarios Clang + LLVM 17 obtenida:

   clang --version

5. Ahora que /usr/bin/clang es la ruta real a su nuevo sonido metálico. Puede ejecutar el script ./configure o configurar manualmente las variables de entorno CC y BAZEL_COMPILER en esta ruta.

Instale soporte para GPU (opcional, solo Linux)

No hay soporte de GPU para macOS.

Lea la guía de soporte de GPU para instalar los controladores y el software adicional necesarios para ejecutar TensorFlow en una GPU.

Descargue el código fuente de TensorFlow

Utilice Git para clonar el repositorio de TensorFlow :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

El repositorio tiene como valor predeterminado la rama de desarrollo master . También puedes consultar una rama de lanzamiento para compilar:

git checkout branch_name  # r2.2, r2.3, etc.

Configurar la compilación

Las compilaciones de TensorFlow se configuran mediante el archivo .bazelrc en el directorio raíz del repositorio. Los scripts ./configure o ./configure.py se pueden utilizar para ajustar configuraciones comunes.

Ejecute el script ./configure desde el directorio raíz del repositorio. Este script le solicitará la ubicación de las dependencias de TensorFlow y le solicitará opciones de configuración de compilación adicionales (indicadores del compilador, por ejemplo). Consulte la sección Sesión de muestra para obtener más detalles.

./configure

También hay una versión Python de este script, ./configure.py . Si utiliza un entorno virtual, python configure.py prioriza las rutas dentro del entorno, mientras que ./configure prioriza las rutas fuera del entorno. En ambos casos puedes cambiar el valor predeterminado.

Sesión de muestra

A continuación se muestra una ejecución de muestra del script ./configure (su sesión puede diferir):

./configure
You have bazel 6.1.0 installed.
Please specify the location of python. [Default is /Library/Frameworks/Python.framework/Versions/3.9/bin/python3]: 


Found possible Python library paths:
  /Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages
Please input the desired Python library path to use.  Default is [/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages]

Do you wish to build TensorFlow with ROCm support? [y/N]:
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]:
No CUDA support will be enabled for TensorFlow.

Do you want to use Clang to build TensorFlow? [Y/n]:
Clang will be used to compile TensorFlow.

Please specify the path to clang executable. [Default is /usr/lib/llvm-16/bin/clang]:

You have Clang 16.0.4 installed.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -Wno-sign-compare]:


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.

Do you wish to build TensorFlow with iOS support? [y/N]: n
No iOS support will be enabled for TensorFlow.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=mkl_aarch64    # Build with oneDNN and Compute Library for the Arm Architecture (ACL).
    --config=monolithic     # Config for mostly static monolithic build.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v1             # Build with TensorFlow 1 API instead of TF 2 API.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=nogcp          # Disable GCP support.
    --config=nonccl         # Disable NVIDIA NCCL support.

Opciones de configuración

Soporte de GPU

desde v.2.18.0

Para compatibilidad con GPU , establezca cuda=Y durante la configuración y especifique las versiones de CUDA y cuDNN si es necesario. Bazel descargará los paquetes CUDA y CUDNN automáticamente o señalará las redistribuciones CUDA/CUDNN/NCCL en el sistema de archivos local si es necesario.

antes de la v.2.18.0

Para compatibilidad con GPU , establezca cuda=Y durante la configuración y especifique las versiones de CUDA y cuDNN. Si su sistema tiene varias versiones de CUDA o cuDNN instaladas, configure explícitamente la versión en lugar de confiar en la predeterminada. ./configure crea enlaces simbólicos a las bibliotecas CUDA de su sistema, por lo que si actualiza las rutas de su biblioteca CUDA, este paso de configuración debe ejecutarse nuevamente antes de compilar.

Optimizaciones

Para los indicadores de optimización de compilación, el valor predeterminado ( -march=native ) optimiza el código generado para el tipo de CPU de su máquina. Sin embargo, si construye TensorFlow para un tipo de CPU diferente, considere un indicador de optimización más específico. Consulte el manual de GCC para ver ejemplos.

Configuraciones preconfiguradas

Hay algunas configuraciones de compilación preconfiguradas disponibles que se pueden agregar al comando bazel build , por ejemplo:

• --config=dbg : compila con información de depuración. Consulte CONTRIBUTING.md para obtener más detalles.
• --config=mkl : compatibilidad con Intel® MKL-DNN .
• --config=monolithic : configuración para una compilación monolítica mayoritariamente estática.

Construya e instale el paquete pip

Opciones de construcción de Bazel

Consulte la referencia de la línea de comandos de Bazel para conocer las opciones de compilación .

Construir TensorFlow desde el código fuente puede consumir mucha RAM. Si su sistema tiene limitaciones de memoria, limite el uso de RAM de Bazel con: --local_ram_resources=2048 .

Los paquetes oficiales de TensorFlow están creados con una cadena de herramientas Clang que cumple con el estándar de paquetes manylinux2014.

Construye el paquete

Para crear un paquete pip, debe especificar el indicador --repo_env=WHEEL_NAME . Dependiendo del nombre proporcionado, se creará el paquete, por ejemplo:

Para construir el paquete de CPU tensorflow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_cpu

Para construir el paquete GPU tensorflow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow --config=cuda --config=cuda_wheel

Para construir el paquete de TPU tensorflow:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_tpu --config=tpu

Para crear un paquete nocturno, configure tf_nightly en lugar de tensorflow , por ejemplo, para crear un paquete nocturno de CPU:

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tf_nightly_cpu

Como resultado, la rueda generada se ubicará en

bazel-bin/tensorflow/tools/pip_package/wheel_house/

Instalar el paquete

El nombre del archivo .whl generado depende de la versión de TensorFlow y de su plataforma. Utilice pip install para instalar el paquete, por ejemplo:

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Compilaciones de Docker Linux

Las imágenes de desarrollo de Docker de TensorFlow son una forma sencilla de configurar un entorno para crear paquetes de Linux desde el código fuente. Estas imágenes ya contienen el código fuente y las dependencias necesarias para construir TensorFlow. Vaya a la guía de TensorFlow Docker para obtener instrucciones de instalación y la lista de etiquetas de imágenes disponibles .

solo CPU

El siguiente ejemplo utiliza la imagen :devel para crear un paquete solo para CPU a partir del último código fuente de TensorFlow. Consulte la guía de Docker para conocer las etiquetas -devel TensorFlow disponibles.

Descargue la imagen de desarrollo más reciente e inicie un contenedor Docker que usará para compilar el paquete pip :

docker pull tensorflow/tensorflow:devel
docker run -it -w /tensorflow_src -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel bash

git pull  # within the container, download the latest source code

El comando docker run anterior inicia un shell en el directorio /tensorflow_src , la raíz del árbol de origen. Monta el directorio actual del host en el directorio /mnt del contenedor y pasa la información del usuario del host al contenedor a través de una variable ambiental (usada para establecer permisos; Docker puede hacer que esto sea complicado).

Alternativamente, para crear una copia de host de TensorFlow dentro de un contenedor, monte el árbol de origen del host en el directorio /tensorflow del contenedor:

docker run -it -w /tensorflow -v /path/to/tensorflow:/tensorflow -v $PWD:/mnt \
    -e HOST_PERMS="\\((id -u):\\)(id -g)" tensorflow/tensorflow:devel bash

Con el árbol de origen configurado, cree el paquete TensorFlow dentro del entorno virtual del contenedor:

1. Opcional: Configure la compilación: esto solicita al usuario que responda preguntas de configuración de la compilación.
2. Construya el paquete pip .
3. Ajuste los permisos de propiedad del archivo fuera del contenedor.

./configure  # if necessary

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow_cpu --config=opt
`
chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Instale y verifique el paquete dentro del contenedor:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(tf.__version__)"

En su máquina host, el paquete pip de TensorFlow está en el directorio actual (con permisos de usuario del host): ./tensorflow- version - tags .whl

Soporte de GPU

Docker es la forma más sencilla de crear compatibilidad con GPU para TensorFlow, ya que la máquina host solo requiere el controlador NVIDIA® (no es necesario instalar el kit de herramientas NVIDIA® CUDA® ). Consulte la guía de soporte de GPU y la guía de TensorFlow Docker para configurar nvidia-docker (solo Linux).

El siguiente ejemplo descarga la imagen de TensorFlow :devel-gpu y usa nvidia-docker para ejecutar el contenedor habilitado para GPU. Esta imagen de desarrollo está configurada para crear un paquete pip con soporte para GPU:

docker pull tensorflow/tensorflow:devel-gpu
docker run --gpus all -it -w /tensorflow -v $PWD:/mnt -e HOST_PERMS="$(id -u):$(id -g)" \
    tensorflow/tensorflow:devel-gpu bash
git pull  # within the container, download the latest source code

Luego, dentro del entorno virtual del contenedor, cree el paquete TensorFlow con soporte para GPU:

./configure  # if necessary

bazel build //tensorflow/tools/pip_package:wheel --repo_env=WHEEL_NAME=tensorflow --config=cuda --config=cuda_wheel --config=opt

chown $HOST_PERMS bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl

Instale y verifique el paquete dentro del contenedor y busque una GPU:

pip uninstall tensorflow  # remove current version

pip install bazel-bin/tensorflow/tools/pip_package/wheel_house/tensorflow-version-tags.whl
cd /tmp  # don't import from source directory
python -c "import tensorflow as tf; print(\"Num GPUs Available: \", len(tf.config.list_physical_devices('GPU')))"

Configuraciones de compilación probadas

linux

UPC

GPU

macos

UPC

GPU