]> git.immae.eu Git - github/Chocobozzz/PeerTube.git/blobdiff - server/helpers/ffmpeg-utils.ts
fixing audio getter when video has no audio
[github/Chocobozzz/PeerTube.git] / server / helpers / ffmpeg-utils.ts
index bfc942fa3c82440cf9ed41b311b945498c57d055..13bce7d3076dfa70552917a6294206bfbca299df 100644 (file)
@@ -5,6 +5,7 @@ import { CONFIG, VIDEO_TRANSCODING_FPS } from '../initializers'
 import { unlinkPromise } from './core-utils'
 import { processImage } from './image-utils'
 import { logger } from './logger'
+import { checkFFmpegEncoders } from '../initializers/checker'
 
 async function getVideoFileResolution (path: string) {
   const videoStream = await getVideoFileStream(path)
@@ -26,7 +27,7 @@ async function getVideoFileFPS (path: string) {
     if (!frames || !seconds) continue
 
     const result = parseInt(frames, 10) / parseInt(seconds, 10)
-    if (result > 0) return result
+    if (result > 0) return Math.round(result)
   }
 
   return 0
@@ -83,23 +84,33 @@ type TranscodeOptions = {
 
 function transcode (options: TranscodeOptions) {
   return new Promise<void>(async (res, rej) => {
-    const fps = await getVideoFileFPS(options.inputPath)
-
     let command = ffmpeg(options.inputPath)
                     .output(options.outputPath)
-                    .videoCodec('libx264')
                     .outputOption('-threads ' + CONFIG.TRANSCODING.THREADS)
-                    .outputOption('-movflags faststart')
-                    // .outputOption('-crf 18')
-
-    // Our player has some FPS limits
-    if (fps > VIDEO_TRANSCODING_FPS.MAX) command = command.withFPS(VIDEO_TRANSCODING_FPS.MAX)
-    else if (fps < VIDEO_TRANSCODING_FPS.MIN) command = command.withFPS(VIDEO_TRANSCODING_FPS.MIN)
+                    .renice(5) // we don't want to make the system unrepsonsive
+                     .preset(standard)
 
+    let fps = await getVideoFileFPS(options.inputPath)
     if (options.resolution !== undefined) {
       // '?x720' or '720x?' for example
       const size = options.isPortraitMode === true ? `${options.resolution}x?` : `?x${options.resolution}`
       command = command.size(size)
+
+      // On small/medium resolutions, limit FPS
+      if (
+        options.resolution < VIDEO_TRANSCODING_FPS.KEEP_ORIGIN_FPS_RESOLUTION_MIN &&
+        fps > VIDEO_TRANSCODING_FPS.AVERAGE
+      ) {
+        fps = VIDEO_TRANSCODING_FPS.AVERAGE
+      }
+    }
+
+    if (fps) {
+      // Hard FPS limits
+      if (fps > VIDEO_TRANSCODING_FPS.MAX) fps = VIDEO_TRANSCODING_FPS.MAX
+      else if (fps < VIDEO_TRANSCODING_FPS.MIN) fps = VIDEO_TRANSCODING_FPS.MIN
+
+      command = command.withFPS(fps)
     }
 
     command
@@ -136,3 +147,127 @@ function getVideoFileStream (path: string) {
     })
   })
 }
+
+/**
+ * A slightly customised version of the 'veryfast' x264 preset
+ *
+ * The veryfast preset is right in the sweet spot of performance
+ * and quality. Superfast and ultrafast will give you better
+ * performance, but then quality is noticeably worse.
+ */
+function veryfast (_ffmpeg) {
+  _ffmpeg
+    .preset(standard)
+    .outputOption('-preset:v veryfast')
+    .outputOption(['--aq-mode=2', '--aq-strength=1.3'])
+  /*
+  MAIN reference: https://slhck.info/video/2017/03/01/rate-control.html
+  Our target situation is closer to a livestream than a stream,
+  since we want to reduce as much a possible the encoding burden,
+  altough not to the point of a livestream where there is a hard
+  constraint on the frames per second to be encoded.
+
+  why '--aq-mode=2 --aq-strength=1.3' instead of '-profile:v main'?
+    Make up for most of the loss of grain and macroblocking
+    with less computing power.
+  */
+}
+
+/**
+ * A preset optimised for a stillimage audio video
+ */
+function audio (_ffmpeg) {
+  _ffmpeg
+    .preset(veryfast)
+    .outputOption('-tune stillimage')
+}
+
+/**
+ * A toolbox to play with audio
+ */
+namespace audio {
+  export const get = (_ffmpeg, pos: number | string = 0) => {
+    // without position, ffprobe considers the last input only
+    // we make it consider the first input only
+    // if you pass a file path to pos, then ffprobe acts on that file directly
+    return new Promise<any>((res, rej) => {
+      _ffmpeg
+        .ffprobe(pos, (err,data) => {
+          if (err) return rej(err)
+
+          if ('streams' in data) {
+            return res(data['streams'].find(stream => stream['codec_type'] === 'audio'))
+          } else {
+            rej()
+          }
+        })
+    })
+  }
+
+  export namespace bitrate {
+    export const baseKbitrate = 384
+
+    const toBits = (kbits: number): number => { return kbits * 8000 }
+
+    export const aac = (bitrate: number): number => {
+      switch (true) {
+      case bitrate > toBits(384):
+        return baseKbitrate
+      default:
+        return -1 // we interpret it as a signal to copy the audio stream as is
+      }
+    }
+
+    export const mp3 = (bitrate: number): number => {
+      switch (true) {
+      case bitrate <= toBits(192):
+        return 128
+      case bitrate <= toBits(384):
+        return 256
+      default:
+        return baseKbitrate
+      }
+    }
+  }
+}
+
+/**
+ * Standard profile, with variable bitrate audio and faststart.
+ *
+ * As for the audio, quality '5' is the highest and ensures 96-112kbps/channel
+ * See https://trac.ffmpeg.org/wiki/Encode/AAC#fdk_vbr
+ */
+async function standard (_ffmpeg) {
+  let _bitrate = audio.bitrate.baseKbitrate
+  let localFfmpeg = _ffmpeg
+    .format('mp4')
+    .videoCodec('libx264')
+    .outputOption('-level 3.1') // 3.1 is the minimal ressource allocation for our highest supported resolution
+    .outputOption('-b_strategy 1') // NOTE: b-strategy 1 - heuristic algorythm, 16 is optimal B-frames for it
+    .outputOption('-bf 16') // NOTE: Why 16: https://github.com/Chocobozzz/PeerTube/pull/774. b-strategy 2 -> B-frames<16
+    .outputOption('-map_metadata -1') // strip all metadata
+    .outputOption('-movflags faststart')
+  let _audio = audio.get(localFfmpeg)
+                    .then(res => res)
+                    .catch(_ => undefined)
+
+  if (!_audio) return localFfmpeg.noAudio()
+
+  // we try to reduce the ceiling bitrate by making rough correspondances of bitrates
+  // of course this is far from perfect, but it might save some space in the end
+  if (audio.bitrate[_audio['codec_name']]) {
+    _bitrate = audio.bitrate[_audio['codec_name']](_audio['bit_rate'])
+    if (_bitrate === -1) {
+      return localFfmpeg.audioCodec('copy')
+    }
+  }
+
+  // we favor VBR, if a good AAC encoder is available
+  if ((await checkFFmpegEncoders()).get('libfdk_aac')) {
+    return localFfmpeg
+      .audioCodec('libfdk_aac')
+      .audioQuality(5)
+  }
+
+  return localFfmpeg.audioBitrate(_bitrate)
+}