Add support for saving video files to object storage (#4290)

* Add support for saving video files to object storage

* Add support for custom url generation on s3 stored files

Uses two config keys to support url generation that doesn't directly go
to (compatible s3). Can be used to generate urls to any cache server or
CDN.

* Upload files to s3 concurrently and delete originals afterwards

* Only publish after move to object storage is complete

* Use base url instead of url template

* Fix mistyped config field

* Add rudenmentary way to download before transcode

* Implement Chocobozzz suggestions

https://github.com/Chocobozzz/PeerTube/pull/4290#issuecomment-891670478

The remarks in question:
    Try to use objectStorage prefix instead of s3 prefix for your function/variables/config names
    Prefer to use a tree for the config: s3.streaming_playlists_bucket -> object_storage.streaming_playlists.bucket
    Use uppercase for config: S3.STREAMING_PLAYLISTS_BUCKETINFO.bucket -> OBJECT_STORAGE.STREAMING_PLAYLISTS.BUCKET (maybe BUCKET_NAME instead of BUCKET)
    I suggest to rename moveJobsRunning to pendingMovingJobs (or better, create a dedicated videoJobInfo table with a pendingMove & videoId columns so we could also use this table to track pending transcoding jobs)
    https://github.com/Chocobozzz/PeerTube/pull/4290/files#diff-3e26d41ca4bda1de8e1747af70ca2af642abcc1e9e0bfb94239ff2165acfbde5R19 uses a string instead of an integer
    I think we should store the origin object storage URL in fileUrl, without base_url injection. Instead, inject the base_url at "runtime" so admins can easily change this configuration without running a script to update DB URLs

* Import correct function

* Support multipart upload

* Remove import of node 15.0 module stream/promises

* Extend maximum upload job length

Using the same value as for redundancy downloading seems logical

* Use dynamic part size for really large uploads

Also adds very small part size for local testing

* Fix decreasePendingMove query

* Resolve various PR comments

* Move to object storage after optimize

* Make upload size configurable and increase default

* Prune webtorrent files that are stored in object storage

* Move files after transcoding jobs

* Fix federation

* Add video path manager

* Support move to external storage job in client

* Fix live object storage tests

Co-authored-by: Chocobozzz <me@florianbigard.com>

Disable openapi generation

Until https://github.com/OpenAPITools/openapi-generator/issues/8663 is
fixed

Typo

Try to fix openapi script

Fix search index tests

Update client dependencies

Update server dependencies

Update FAQ.md

s/franglais/english/

fixed typo (#4312)

* Fixed typo

Correctly handle large HLS files for redundancy

Fix send rtmp command

Fix cli build

Improve target bitrate calculation

Limit live bitrate

Merge branch 'release/3.3.0' into develop

Fix sha fallback

Remove deprecated transcoding job names

Fix upload without files

Fix backend channel name validator consistency

Do not index remote actors

Standard output type syslog is obsolete in systemed

removing the setting
StandardOutput
StandardError

HLS v1 support

Filter videos by live in custom markup

Fetch things in bulk for the homepage

Remove thumbnail flash for autoplay

Update translations

Translated using Weblate (Thai)

Currently translated at 52.8% (952 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/th/

Translated using Weblate (Catalan)

Currently translated at 36.8% (663 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/ca/

Translated using Weblate (Catalan)

Currently translated at 100.0% (118 of 118 strings)

Translation: PeerTube/player
Translate-URL: https://weblate.framasoft.org/projects/peertube/player/ca/

Translated using Weblate (Catalan)

Currently translated at 33.9% (611 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/ca/

Translated using Weblate (Polish)

Currently translated at 99.7% (1795 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/pl/

Translated using Weblate (Vietnamese)

Currently translated at 99.8% (1798 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/vi/

Translated using Weblate (Russian)

Currently translated at 100.0% (1800 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/ru/

Translated using Weblate (French (France) (fr_FR))

Currently translated at 100.0% (1800 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/fr_FR/

Translated using Weblate (Russian)

Currently translated at 100.0% (1800 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/ru/

Translated using Weblate (German)

Currently translated at 100.0% (1800 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/de/

Translated using Weblate (Kabyle)

Currently translated at 95.5% (1720 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/kab/

Translated using Weblate (Vietnamese)

Currently translated at 100.0% (246 of 246 strings)

Translation: PeerTube/server
Translate-URL: https://weblate.framasoft.org/projects/peertube/server/vi/

Translated using Weblate (Vietnamese)

Currently translated at 99.8% (1798 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/vi/

Translated using Weblate (French (France) (fr_FR))

Currently translated at 100.0% (1800 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/fr_FR/

Translated using Weblate (Portuguese (Brazil))

Currently translated at 53.9% (971 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/pt_BR/

Translated using Weblate (Catalan)

Currently translated at 32.6% (588 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/ca/

Translated using Weblate (Chinese (Traditional))

Currently translated at 100.0% (1800 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/zh_Hant/

Translated using Weblate (Russian)

Currently translated at 100.0% (1800 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/ru/

Translated using Weblate (Galician)

Currently translated at 100.0% (1800 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/gl/

Translated using Weblate (Gaelic)

Currently translated at 100.0% (1800 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/gd/

Translated using Weblate (Spanish)

Currently translated at 100.0% (1800 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/es/

Translated using Weblate (Gaelic)

Currently translated at 98.6% (1776 of 1800 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/gd/

Refactor notifier

Update plugin doc

Fix peertube link button

Merge branch 'release/3.3.0' into develop

Hide schedule privacy if private does not exist

Merge branch 'release/3.3.0' into develop

Fix video format utils

Correctly fix peertube button link

Fix empty search

Redirect to search page for origin instance

Add ability to filter by host in search page

Refactor options in models

Update search index tests

Correctly cleanup test servers

Log ffmpeg command

Refactor search query options

Search channels against handles and not names

Add ability to search by uuids/actor names

Update search index tests

Increase test timeout

Cleanup shared models imports

Filter host for channels and playlists search

Adding Rocky Linux 8.4

Adding documentation for Rocky Linux 8.4
Adapted from CentOS 8... but seems like there is stuff missing from that section.

Fix oembed for playlists

Add ability to search by host in server

Fix build

Merge branch 'release/3.3.0' into develop

Fix moderation embeds

Fix description timestamp click

Refactor video links builders

Refactor video links building

Fix privacy descriptions

Fix URL copy in embed

Use random names for VOD HLS playlists

Generate random uuid for video files

Merge branch 'release/3.3.0' into develop

Fix user-dropdown-indicator position on touchscreens

Fix tests with node 16

Simplify createServer args

Upgrade server dependencies

Move apicache in peertube

Allow us to upgrade to node 16

Speed up plugin transcoding tests

Update translations

Merge remote-tracking branch 'weblate/develop' into develop

Translated using Weblate (Chinese (Traditional))

Currently translated at 100.0% (1793 of 1793 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/zh_Hant/

Translated using Weblate (Catalan)

Currently translated at 29.9% (537 of 1793 strings)

Translation: PeerTube/angular
Translate-URL: https://weblate.framasoft.org/projects/peertube/angular/ca/

Add missing localization keys

Add overviews filter hook tests

Add new filter hooks to /overviews/videos

This change adds new filter hooks `filter:api.overviews.videos.list.params` and `filter:api.overviews.videos.list.params` to /overviews/videos.

The motivation is to make a plugin to [use `originallyPublishedAt` in all places where `publishedAt` is used](https://github.com/ahdinosaur/peertube-plugin-originally-published-at).

Register plugins when peertube server is ready

Merge branch 'next' into develop

Merge branch 'constant-registry' into develop