]> git.immae.eu Git - github/Chocobozzz/PeerTube.git/blobdiff - support/doc/tools.md
Improve responsive on medium destkop screens
[github/Chocobozzz/PeerTube.git] / support / doc / tools.md
index cf427ec845d6ceb23b695745c9604bf7d1de57d9..39f5ab787f1d02819198464bafa9a75ea8fde54b 100644 (file)
@@ -1,33 +1,8 @@
 # CLI tools guide
 
-<!-- START doctoc generated TOC please keep comment here to allow auto update -->
-<!-- DON'T EDIT THIS SECTION, INSTEAD RE-RUN doctoc TO UPDATE -->
-**Table of Contents**
-
-- [Remote Tools](#remote-tools)
-  - [Dependencies](#dependencies)
-  - [Installation](#installation)
-  - [CLI wrapper](#cli-wrapper)
-    - [peertube-import-videos.js](#peertube-import-videosjs)
-    - [peertube-upload.js](#peertube-uploadjs)
-    - [peertube-watch.js](#peertube-watchjs)
-- [Server tools](#server-tools)
-  - [parse-log](#parse-log)
-  - [create-transcoding-job.js](#create-transcoding-jobjs)
-  - [create-import-video-file-job.js](#create-import-video-file-jobjs)
-  - [prune-storage.js](#prune-storagejs)
-  - [optimize-old-videos.js](#optimize-old-videosjs)
-  - [update-host.js](#update-hostjs)
-  - [reset-password.js](#reset-passwordjs)
-  - [REPL (Read Eval Print Loop)](#repl-read-eval-print-loop)
-    - [.help](#help)
-    - [Lodash example](#lodash-example)
-    - [YoutubeDL example](#youtubedl-example)
-    - [Models examples](#models-examples)
-
-<!-- END doctoc generated TOC please keep comment here to allow auto update -->
-
-## Remote Tools
+[[toc]]
+
+## Remote PeerTube CLI
 
 You need at least 512MB RAM to run the script.
 Scripts can be launched directly from a PeerTube server, or from a separate server, even a desktop PC.
@@ -35,24 +10,23 @@ You need to follow all the following steps even if you are on a PeerTube server
 
 ### Dependencies
 
-Install the [PeerTube dependencies](dependencies.md) except PostgreSQL and Redis.
-PeerTube only supports NodeJS 10.x.
+Install the [PeerTube dependencies](/support/doc/dependencies.md) except PostgreSQL and Redis.
 
 ### Installation
 
 Clone the PeerTube repo to get the latest version (even if you are on your PeerTube server):
 
-```
-git clone https://github.com/Chocobozzz/PeerTube.git
-CLONE="$(pwd)/PeerTube"
-cd ${CLONE}
+```bash
+git clone https://github.com/Chocobozzz/PeerTube.git
+CLONE="$(pwd)/PeerTube"
+cd ${CLONE}
 ```
 
 Install dependencies and build CLI tools:
 
-```
-NOCLIENT=1 yarn install --pure-lockfile
-npm run setup:cli
+```bash
+NOCLIENT=1 yarn install --pure-lockfile
+npm run setup:cli
 ```
 
 ### CLI wrapper
@@ -73,17 +47,16 @@ You can access it as `peertube` via an alias in your `.bashrc` like `alias peert
     auth [action]         register your accounts on remote instances to use them with other commands
     upload|up             upload a video
     import-videos|import  import a video from a streaming platform
-    watch|w               watch a video in the terminal ✩°。⋆
-    repl                  initiate a REPL to access internals
-    plugins|p [action]    manag instance plugins
+    plugins|p [action]    manage instance plugins
+    redundancy|r [action] manage video redundancies
     help [cmd]            display help for [cmd]
 ```
 
 The wrapper can keep track of instances you have an account on. We limit to one account per instance for now.
 
 ```bash
-peertube auth add -u 'PEERTUBE_URL' -U 'PEERTUBE_USER' --password 'PEERTUBE_PASSWORD'
-peertube auth list
+peertube auth add -u 'PEERTUBE_URL' -U 'PEERTUBE_USER' --password 'PEERTUBE_PASSWORD'
+peertube auth list
 ┌──────────────────────────────┬──────────────────────────────┐
 │ instance                     │ login                        │
 ├──────────────────────────────┼──────────────────────────────┤
@@ -94,22 +67,16 @@ $ peertube auth list
 You can now use that account to upload videos without feeding the same parameters again.
 
 ```bash
-$ peertube up <videoFile>
-```
-
-And now that your video is online, you can watch it from the confort of your terminal (use `peertube watch --help` to see the supported players):
-
-```bash
-$ peertube watch https://peertube.cpy.re/videos/watch/e8a1af4e-414a-4d58-bfe6-2146eed06d10
+peertube up <videoFile>
 ```
 
 To list, install, uninstall dynamically plugins/themes of an instance:
 
 ```bash
-peertube plugins list
-peertube plugins install --path /local/plugin/path
-peertube plugins install --npm-name peertube-plugin-myplugin
-peertube plugins uninstall --npm-name peertube-plugin-myplugin
+peertube plugins list
+peertube plugins install --path /local/plugin/path
+peertube plugins install --npm-name peertube-plugin-myplugin
+peertube plugins uninstall --npm-name peertube-plugin-myplugin
 ```
 
 #### peertube-import-videos.js
@@ -118,11 +85,11 @@ You can use this script to import videos from all [supported sites of youtube-dl
 Be sure you own the videos or have the author's authorization to do so.
 
 ```sh
-node dist/server/tools/peertube-import-videos.js \
+node dist/server/tools/peertube-import-videos.js \
     -u 'PEERTUBE_URL' \
     -U 'PEERTUBE_USER' \
     --password 'PEERTUBE_PASSWORD' \
-    -t 'TARGET_URL'
+    --target-url 'TARGET_URL'
 ```
 
 * `PEERTUBE_URL` : the full URL of your PeerTube server where you want to import, eg: https://peertube.cpy.re
@@ -150,7 +117,7 @@ these rules (ensure to customize them to your needs):
 0 0 * * * /usr/bin/npm rebuild youtube-dl --prefix /PATH/TO/PEERTUBE/
 
 # Synchronize the YT channel every sunday at 22:00 all the videos published since last monday included
-0 22 * * 0 /usr/bin/node /PATH/TO/PEERTUBE/dist/server/tools/peertube-import-videos.js -u '__PEERTUBE_URL__' -U '__USER__' --password '__PASSWORD__' --target-url 'https://www.youtube.com/channel/___CHANNEL__' --since $(date --date="-6 days" +%Y-%m-%d)
+0 22 * * 0 /usr/bin/node /PATH/TO/PEERTUBE/dist/server/tools/peertube-import-videos.js -u '__PEERTUBE_URL__' -U '__USER__' --password '__PASSWORD__' --target-url 'https://www.youtube.com/channel/___CHANNEL__' --since $(date --date="-6 days" +\%Y-\%m-\%d)
 ```
 
 Also you may want to subscribe to the PeerTube channel in order to manually check the synchronization is successful.
@@ -161,26 +128,54 @@ You can use this script to import videos directly from the CLI.
 
 Videos will be publicly available after transcoding (you can see them before that in your account on the web interface).
 
+```bash
+cd ${CLONE}
+node dist/server/tools/peertube-upload.js --help
 ```
-$ cd ${CLONE}
-$ node dist/server/tools/peertube-upload.js --help
+
+#### peertube-plugins.js
+
+Install/update/uninstall or list local or NPM PeerTube plugins:
+
+```bash
+cd ${CLONE}
+node dist/server/tools/peertube-plugins.js --help
+node dist/server/tools/peertube-plugins.js list --help
+node dist/server/tools/peertube-plugins.js install --help
+node dist/server/tools/peertube-plugins.js update --help
+node dist/server/tools/peertube-plugins.js uninstall --help
+
+node dist/server/tools/peertube-plugins.js install --path /my/plugin/path
+node dist/server/tools/peertube-plugins.js install --npm-name peertube-theme-example
 ```
 
-#### peertube-watch.js
+#### peertube-redundancy.js
+
+Manage (list/add/remove) video redundancies:
 
-You can use this script to play videos directly from the CLI.
+To list your videos that are duplicated by remote instances:
 
-It provides support for different players:
+```bash
+node dist/server/tools/peertube.js redundancy list-remote-redundancies
+```
 
-- ascii (default ; plays in ascii art in your terminal!)
-- mpv
-- mplayer
-- vlc
-- stdout
-- xbmc
-- airplay
-- chromecast
+To list remote videos that your instance duplicated:
+
+```bash
+node dist/server/tools/peertube.js redundancy list-my-redundancies
+```
 
+To duplicate a specific video in your redundancy system:
+
+```bash
+node dist/server/tools/peertube.js redundancy add --video 823
+```
+
+To remove a video redundancy:
+
+```bash
+node dist/server/tools/peertube.js redundancy remove --video 823
+```
 
 ## Server tools
 
@@ -190,70 +185,130 @@ These scripts should be run on the server, in `peertube-latest` directory.
 
 To parse PeerTube last log file:
 
-```
-$ sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run parse-log -- --level info
+```bash
+# Basic installation
+cd /var/www/peertube/peertube-latest
+sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run parse-log -- --level info
+
+# Docker installation
+cd /var/www/peertube-docker
+docker-compose exec -u peertube peertube npm run parse-log -- --level info
 ```
 
 `--level` is optional and could be `info`/`warn`/`error`
 
-### create-transcoding-job.js
+You can also remove SQL or HTTP logs using `--not-tags` (PeerTube >= 3.2):
 
-You can use this script to force transcoding of an existing video. PeerTube needs to be running.
+```bash
+# Basic installation
+cd /var/www/peertube/peertube-latest
+sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run parse-log -- --level debug --not-tags http sql
 
-```
-$ sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run create-transcoding-job -- -v [videoUUID]
+# Docker installation
+cd /var/www/peertube-docker
+docker-compose exec -u peertube peertube npm run parse-log -- --level debug --not-tags http sql
 ```
 
-Or to transcode to a specific resolution:
-```
-$ sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run create-transcoding-job -- -v [videoUUID] -r [resolution]
+### regenerate-thumbnails.js
+
+**PeerTube >= 3.2**
+
+Regenerating local video thumbnails could be useful because new PeerTube releases may increase thumbnail sizes:
+
+```bash
+# Basic installation
+cd /var/www/peertube/peertube-latest
+sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run regenerate-thumbnails
+
+# Docker installation
+cd /var/www/peertube-docker
+docker-compose exec -u peertube peertube npm run regenerate-thumbnails
 ```
 
 ### create-import-video-file-job.js
 
-You can use this script to import a video file to replace an already uploaded file or to add a new resolution to a video. PeerTube needs to be running.
+You can use this script to import a video file to replace an already uploaded file or to add a new webtorrent resolution to a video. PeerTube needs to be running.
+You can then create a transcoding job using the web interface if you need to optimize your file or create an HLS version of it.
 
-```
-$ sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run create-import-video-file-job -- -v [videoUUID] -i [videoFile]
+```bash
+# Basic installation
+cd /var/www/peertube/peertube-latest
+sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run create-import-video-file-job -- -v [videoUUID] -i [videoFile]
+
+# Docker installation
+cd /var/www/peertube-docker
+docker-compose exec -u peertube peertube npm run create-import-video-file-job -- -v [videoUUID] -i [videoFile]
 ```
 
-### prune-storage.js
+### create-move-video-storage-job.js
 
-Some transcoded videos or shutdown at a bad time can leave some unused files on your storage.
-Stop PeerTube and delete these files (a confirmation will be demanded first):
+**PeerTube >= 4.0**
 
-```
-$ sudo systemctl stop peertube && sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run prune-storage
+Use this script to move all video files or a specific video file to object storage.
+
+```bash
+# Basic installation
+cd /var/www/peertube/peertube-latest
+sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run create-move-video-storage-job -- --to-object-storage -v [videoUUID]
+
+# Docker installation
+cd /var/www/peertube-docker
+docker-compose exec -u peertube peertube npm run create-move-video-storage-job -- --to-object-storage -v [videoUUID]
 ```
 
-### optimize-old-videos.js
+The script can also move all video files that are not already in object storage:
 
-Before version v1.0.0-beta.16, Peertube did not specify a bitrate for the
-transcoding of uploaded videos. This means that videos might be encoded into
-very large files that are too large for streaming. This script re-transcodes
-these videos so that they can be watched properly, even on slow connections.
+```bash
+# Basic installation
+cd /var/www/peertube/peertube-latest
+sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run create-move-video-storage-job -- --to-object-storage --all-videos
 
+# Docker installation
+cd /var/www/peertube-docker
+docker-compose exec -u peertube peertube npm run create-move-video-storage-job -- --to-object-storage --all-videos
 ```
-$ sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run optimize-old-videos
+
+
+### prune-storage.js
+
+Some transcoded videos or shutdown at a bad time can leave some unused files on your storage.
+Stop PeerTube and delete these files (a confirmation will be demanded first):
+
+```bash
+cd /var/www/peertube/peertube-latest
+sudo systemctl stop peertube && sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run prune-storage
 ```
 
 
 ### update-host.js
 
+**Changing the hostname is unsupported and may be a risky operation, especially if you have already federated.**
 If you started PeerTube with a domain, and then changed it you will have
 invalid torrent files and invalid URLs in your database. To fix this, you have
-to run:
+to run the command below (keep in mind your follower instances will NOT update their URLs).
 
-```
-$ sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run update-host
+```bash
+# Basic installation
+cd /var/www/peertube/peertube-latest
+sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run update-host
+
+# Docker installation
+cd /var/www/peertube-docker
+docker-compose exec -u peertube peertube npm run update-host
 ```
 
 ### reset-password.js
 
 To reset a user password from CLI, run:
 
-```
-$ sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run reset-password -- -u target_username
+```bash
+# Basic installation
+cd /var/www/peertube/peertube-latest
+sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run reset-password -- -u target_username
+
+# Docker installation
+cd /var/www/peertube-docker
+docker-compose exec -u peertube peertube npm run reset-password -- -u target_username
 ```
 
 
@@ -262,151 +317,92 @@ $ sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production
 The difference with `peertube plugins` CLI is that these scripts can be used even if PeerTube is not running.
 If PeerTube is running, you need to restart it for the changes to take effect (whereas with `peertube plugins` CLI, plugins/themes are dynamically loaded on the server).
 
-To install a plugin or a theme from the disk:
+To install/update a plugin or a theme from the disk:
 
-```
-$ sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run npm run plugin:install -- --plugin-path /local/plugin/path
+```bash
+cd /var/www/peertube/peertube-latest
+sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run plugin:install -- --plugin-path /local/plugin/path
+
+# Docker installation
+cd /var/www/peertube-docker
+docker-compose exec -u peertube peertube npm run plugin:install -- --plugin-path /local/plugin/path
 ```
 
 From NPM:
 
-```
-$ sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run npm run plugin:install -- --npm-name peertube-plugin-myplugin
+```bash
+cd /var/www/peertube/peertube-latest
+sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run plugin:install -- --npm-name peertube-plugin-myplugin
+
+# Docker installation
+cd /var/www/peertube-docker
+docker-compose exec -u peertube peertube npm run plugin:install -- --npm-name peertube-plugin-myplugin
 ```
 
 To uninstall a plugin or a theme:
 
+```bash
+cd /var/www/peertube/peertube-latest
+sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run plugin:uninstall -- --npm-name peertube-plugin-myplugin
+
+# Docker installation
+cd /var/www/peertube-docker
+docker-compose exec -u peertube peertube npm run plugin:uninstall -- --npm-name peertube-plugin-myplugin
+```
+
+## PeerTube runner
+
+PeerTube >= 5.2 supports VOD or Live transcoding by a remote PeerTube runner.
+
+
+### Installation
+
+```bash
+sudo npm install -g @peertube/peertube-runner
 ```
-$ sudo -u peertube NODE_CONFIG_DIR=/var/www/peertube/config NODE_ENV=production npm run npm run plugin:uninstall -- --npm-name peertube-plugin-myplugin
-```
-
-### REPL ([Read Eval Print Loop](https://nodejs.org/docs/latest-v10.x/api/repl.html))
-
-If you want to interact with the application libraries and objects even when PeerTube is not running, there is a REPL for that.
-
-usage: `node ./dist/server/tools/peertube-repl.js`
-
-"The default evaluator will, by default, assign the result of the most recently evaluated expression to the special variable `_` (underscore). Explicitly setting `_` to a value will disable this behavior."
-
-- type `.help` to list commands available in the repl, notice it starts with a dot
-- type `.exit` to exit, note that you still have to press CTRL-C to actually exit, or press CTRL-C (3 times) without typing `.exit` to exit
-- type `context` to list all available objects and libraries in the context, note: `Promise` is also available but it's not listed in the context, in case you need promises for something
-- type `env` to see the loaded environment variables
-- type `path` to access path library
-- type `lodash` to access lodash library
-- type `uuidv1` to access uuid/v1 library
-- type `uuidv3` to access uuid/v3 library
-- type `uuidv4` to access uuid/v4 library
-- type `uuidv5` to access uuid/v5 library
-- type `YoutubeDL` to access youtube-dl library
-- type `cli` to access the cli helpers object
-- type `logger` to access the logger; if you log to it, it will write to stdout and to the peertube.log file
-- type `constants` to access the constants loaded by the server
-- type `coreUtils` to access the core-utils helpers object
-- type `ffmpegUtils` to access the ffmpeg-utils helpers object
-- type `peertubeCryptoUtils` to access the peertube-crypto helpers object
-- type `signupUtils` to access the signup helpers object
-- type `utils` to access the utils helpers object
-- type `YoutubeDLUtils` to access the youtube-dl helpers object
-- type `sequelizeTypescript` to access sequelizeTypescript
-- type `modelsUtils` to access the models/utils
-- type `models` to access the shortcut to sequelizeTypescript.models
-- type `transaction` to access the shortcut to sequelizeTypescript.transaction
-- type `query` to access the shortcut to sequelizeTypescript.query
-- type `queryInterface` to access the shortcut to sequelizeTypescript.queryInterface
-
-#### .help
-
-```
-PeerTube [1.0.0] (b10eb595)> .help
-.break    Sometimes you get stuck, this gets you out
-.clear    Break, and also clear the local context
-.editor   Enter editor mode
-.exit     Exit the repl
-.help     Print this help message
-.load     Load JS from a file into the REPL session
-.r        Reset REPL
-.reset    Reset REPL
-.save     Save all evaluated commands in this REPL session to a file
-PeerTube [1.0.0] (b10eb595)>
-```
-
-#### Lodash example
-
-```
-PeerTube [1.0.0] (b10eb595)> lodash.keys(context)
-[ 'global',
-  'console',
-  'DTRACE_NET_SERVER_CONNECTION',
-  'DTRACE_NET_STREAM_END',
-  'DTRACE_HTTP_SERVER_REQUEST',
-  'DTRACE_HTTP_SERVER_RESPONSE',
-  'DTRACE_HTTP_CLIENT_REQUEST',
-  'DTRACE_HTTP_CLIENT_RESPONSE',
-  'process',
-  'Buffer',
-  'clearImmediate',
-  'clearInterval',
-  'clearTimeout',
-  'setImmediate',
-  'setInterval',
-  'setTimeout',
-  'XMLHttpRequest',
-  'compact2string',
-  'module',
-  'require',
-  'path',
-  'repl',
-  'context',
-  'env',
-  'lodash',
-  'uuidv1',
-  'uuidv3',
-  'uuidv4',
-  'uuidv5',
-  'cli',
-  'logger',
-  'constants',
-  'Sequelize',
-  'sequelizeTypescript',
-  'modelsUtils',
-  'models',
-  'transaction',
-  'query',
-  'queryInterface',
-  'YoutubeDL',
-  'coreUtils',
-  'ffmpegUtils',
-  'peertubeCryptoUtils',
-  'signupUtils',
-  'utils',
-  'YoutubeDLUtils' ]
-PeerTube [1.0.0] (b10eb595)>
-```
-
-#### YoutubeDL example
-```
-YoutubeDL.getInfo('https://www.youtube.com/watch?v=I5ZN289jjDo', function(err, data) {console.log(err, data)})
-```
-
-#### Models examples
-```
-PeerTube [1.0.0] (b10eb595)> new models.ActorModel({id: 3}).getVideoChannel().then(function(data){console.log(data.dataValues.name)})
-Promise {
-  _bitField: 0,
-  _fulfillmentHandler0: undefined,
-  _rejectionHandler0: undefined,
-  _promise0: undefined,
-  _receiver0: undefined }
-PeerTube [1.0.0] (b10eb595)> Main root channel
-PeerTube [1.0.0] (b10eb595)> let out; new models.UserModel({id: 1}).getAccount().then(function (data) {out = data.dataValues.id})
-Promise {
-  _bitField: 0,
-  _fulfillmentHandler0: undefined,
-  _rejectionHandler0: undefined,
-  _promise0: undefined,
-  _receiver0: undefined }
-PeerTube [1.0.0] (b10eb595)> out
-2
-PeerTube [1.0.0] (b10eb595)>
+
+### Configuration
+
+The runner uses env paths like `~/.config`, `~/.cache` and `~/.local/share` directories to store runner configuration or temporary files.
+
+Multiple PeerTube runners can run on the same OS by using the `--id` CLI option (each runner uses its own config/tmp directories):
+
+```bash
+peertube-runner [commands] --id instance-1
+peertube-runner [commands] --id instance-2
+peertube-runner [commands] --id instance-3
+```
+
+You can change the runner configuration (jobs concurrency, ffmpeg threads/nice etc) by editing `~/.config/peertube-runner-nodejs/[id]/config.toml`.
+
+### Run the server
+
+You need to run the runner in server mode first so it can run transcoding jobs of registered PeerTube instances:
+
+```bash
+peertube-runner server
+```
+
+### Register
+
+Then, you can register the runner on a new PeerTube instance so the runner can process its transcoding job:
+
+```bash
+peertube-runner register --url http://peertube.example.com --registration-token ptrrt-... --runner-name my-runner-name
+```
+
+The runner will then use a websocket connection with the PeerTube instance to be notified about new available transcoding jobs.
+
+### Unregister
+
+To unregister a PeerTube instance:
+
+```bash
+peertube-runner unregister --url http://peertube.example.com --runner-name my-runner-name
+```
+
+### List registered instances
+
+```bash
+peertube-runner list-registered
 ```