]> git.immae.eu Git - github/Chocobozzz/PeerTube.git/blobdiff - server/helpers/ffmpeg-utils.ts
Fix thumbnail processing
[github/Chocobozzz/PeerTube.git] / server / helpers / ffmpeg-utils.ts
index f0e2c0af5764caff5d29746476aef246e009d922..b59e7e40e692e99ef19bb5e49b6d4745ae412a35 100644 (file)
@@ -1,11 +1,33 @@
 import * as ffmpeg from 'fluent-ffmpeg'
 import { join } from 'path'
-import { VideoResolution } from '../../shared/models/videos'
-import { CONFIG, VIDEO_TRANSCODING_FPS, FFMPEG_NICE } from '../initializers'
-import { unlinkPromise } from './core-utils'
+import { getTargetBitrate, VideoResolution } from '../../shared/models/videos'
+import { CONFIG, FFMPEG_NICE, VIDEO_TRANSCODING_FPS } from '../initializers/constants'
 import { processImage } from './image-utils'
 import { logger } from './logger'
-import { checkFFmpegEncoders } from '../initializers/checker'
+import { checkFFmpegEncoders } from '../initializers/checker-before-init'
+import { remove } from 'fs-extra'
+
+function computeResolutionsToTranscode (videoFileHeight: number) {
+  const resolutionsEnabled: number[] = []
+  const configResolutions = CONFIG.TRANSCODING.RESOLUTIONS
+
+  // Put in the order we want to proceed jobs
+  const resolutions = [
+    VideoResolution.H_480P,
+    VideoResolution.H_360P,
+    VideoResolution.H_720P,
+    VideoResolution.H_240P,
+    VideoResolution.H_1080P
+  ]
+
+  for (const resolution of resolutions) {
+    if (configResolutions[ resolution + 'p' ] === true && videoFileHeight > resolution) {
+      resolutionsEnabled.push(resolution)
+    }
+  }
+
+  return resolutionsEnabled
+}
 
 async function getVideoFileResolution (path: string) {
   const videoStream = await getVideoFileStream(path)
@@ -33,6 +55,16 @@ async function getVideoFileFPS (path: string) {
   return 0
 }
 
+async function getVideoFileBitrate (path: string) {
+  return new Promise<number>((res, rej) => {
+    ffmpeg.ffprobe(path, (err, metadata) => {
+      if (err) return rej(err)
+
+      return res(metadata.format.bit_rate)
+    })
+  })
+}
+
 function getDurationFromVideoFile (path: string) {
   return new Promise<number>((res, rej) => {
     ffmpeg.ffprobe(path, (err, metadata) => {
@@ -56,7 +88,7 @@ async function generateImageFromVideoFile (fromPath: string, folder: string, ima
 
   try {
     await new Promise<string>((res, rej) => {
-      ffmpeg(fromPath, { 'niceness': FFMPEG_NICE.THUMBNAIL })
+      ffmpeg(fromPath, { niceness: FFMPEG_NICE.THUMBNAIL })
         .on('error', rej)
         .on('end', () => res(imageName))
         .thumbnail(options)
@@ -68,7 +100,7 @@ async function generateImageFromVideoFile (fromPath: string, folder: string, ima
     logger.error('Cannot generate image from video %s.', fromPath, { err })
 
     try {
-      await unlinkPromise(pendingImagePath)
+      await remove(pendingImagePath)
     } catch (err) {
       logger.debug('Cannot remove pending image path after generation error.', { err })
     }
@@ -84,41 +116,50 @@ type TranscodeOptions = {
 
 function transcode (options: TranscodeOptions) {
   return new Promise<void>(async (res, rej) => {
-    let command = ffmpeg(options.inputPath, { 'niceness': FFMPEG_NICE.TRANSCODING })
-                    .output(options.outputPath)
-                    .outputOption('-threads ' + CONFIG.TRANSCODING.THREADS)
-                    .preset(standard)
-
-    let fps = await getVideoFileFPS(options.inputPath)
-    if (options.resolution !== undefined) {
-      // '?x720' or '720x?' for example
-      const size = options.isPortraitMode === true ? `${options.resolution}x?` : `?x${options.resolution}`
-      command = command.size(size)
-
+    try {
+      let fps = await getVideoFileFPS(options.inputPath)
       // On small/medium resolutions, limit FPS
       if (
+        options.resolution !== undefined &&
         options.resolution < VIDEO_TRANSCODING_FPS.KEEP_ORIGIN_FPS_RESOLUTION_MIN &&
         fps > VIDEO_TRANSCODING_FPS.AVERAGE
       ) {
         fps = VIDEO_TRANSCODING_FPS.AVERAGE
       }
-    }
 
-    if (fps) {
-      // Hard FPS limits
-      if (fps > VIDEO_TRANSCODING_FPS.MAX) fps = VIDEO_TRANSCODING_FPS.MAX
-      else if (fps < VIDEO_TRANSCODING_FPS.MIN) fps = VIDEO_TRANSCODING_FPS.MIN
+      let command = ffmpeg(options.inputPath, { niceness: FFMPEG_NICE.TRANSCODING })
+        .output(options.outputPath)
+      command = await presetH264(command, options.resolution, fps)
 
-      command = command.withFPS(fps)
-    }
+      if (CONFIG.TRANSCODING.THREADS > 0) {
+        // if we don't set any threads ffmpeg will chose automatically
+        command = command.outputOption('-threads ' + CONFIG.TRANSCODING.THREADS)
+      }
+
+      if (options.resolution !== undefined) {
+        // '?x720' or '720x?' for example
+        const size = options.isPortraitMode === true ? `${options.resolution}x?` : `?x${options.resolution}`
+        command = command.size(size)
+      }
 
-    command
-      .on('error', (err, stdout, stderr) => {
-        logger.error('Error in transcoding job.', { stdout, stderr })
-        return rej(err)
-      })
-      .on('end', res)
-      .run()
+      if (fps) {
+        // Hard FPS limits
+        if (fps > VIDEO_TRANSCODING_FPS.MAX) fps = VIDEO_TRANSCODING_FPS.MAX
+        else if (fps < VIDEO_TRANSCODING_FPS.MIN) fps = VIDEO_TRANSCODING_FPS.MIN
+
+        command = command.withFPS(fps)
+      }
+
+      command
+        .on('error', (err, stdout, stderr) => {
+          logger.error('Error in transcoding job.', { stdout, stderr })
+          return rej(err)
+        })
+        .on('end', res)
+        .run()
+    } catch (err) {
+      return rej(err)
+    }
   })
 }
 
@@ -129,7 +170,10 @@ export {
   getDurationFromVideoFile,
   generateImageFromVideoFile,
   transcode,
-  getVideoFileFPS
+  getVideoFileFPS,
+  computeResolutionsToTranscode,
+  audio,
+  getVideoFileBitrate
 }
 
 // ---------------------------------------------------------------------------
@@ -154,11 +198,10 @@ function getVideoFileStream (path: string) {
  * and quality. Superfast and ultrafast will give you better
  * performance, but then quality is noticeably worse.
  */
-function veryfast (_ffmpeg) {
-  _ffmpeg
-    .preset(standard)
-    .outputOption('-preset:v veryfast')
-    .outputOption(['--aq-mode=2', '--aq-strength=1.3'])
+async function presetH264VeryFast (command: ffmpeg.FfmpegCommand, resolution: VideoResolution, fps: number): Promise<ffmpeg.FfmpegCommand> {
+  let localCommand = await presetH264(command, resolution, fps)
+  localCommand = localCommand.outputOption('-preset:v veryfast')
+             .outputOption([ '--aq-mode=2', '--aq-strength=1.3' ])
   /*
   MAIN reference: https://slhck.info/video/2017/03/01/rate-control.html
   Our target situation is closer to a livestream than a stream,
@@ -170,47 +213,66 @@ function veryfast (_ffmpeg) {
     Make up for most of the loss of grain and macroblocking
     with less computing power.
   */
+
+  return localCommand
 }
 
 /**
  * A preset optimised for a stillimage audio video
  */
-function audio (_ffmpeg) {
-  _ffmpeg
-    .preset(veryfast)
-    .outputOption('-tune stillimage')
+async function presetStillImageWithAudio (
+  command: ffmpeg.FfmpegCommand,
+  resolution: VideoResolution,
+  fps: number
+): Promise<ffmpeg.FfmpegCommand> {
+  let localCommand = await presetH264VeryFast(command, resolution, fps)
+  localCommand = localCommand.outputOption('-tune stillimage')
+
+  return localCommand
 }
 
 /**
  * A toolbox to play with audio
  */
 namespace audio {
-  export const get = (_ffmpeg, pos: number | string = 0) => {
+  export const get = (option: ffmpeg.FfmpegCommand | string) => {
     // without position, ffprobe considers the last input only
     // we make it consider the first input only
     // if you pass a file path to pos, then ffprobe acts on that file directly
-    return new Promise<any>((res, rej) => {
-      _ffmpeg
-        .ffprobe(pos, (err,data) => {
-          if (err) return rej(err)
-
-          if ('streams' in data) {
-            return res(data['streams'].find(stream => stream['codec_type'] === 'audio'))
-          } else {
-            rej()
+    return new Promise<{ absolutePath: string, audioStream?: any }>((res, rej) => {
+
+      function parseFfprobe (err: any, data: ffmpeg.FfprobeData) {
+        if (err) return rej(err)
+
+        if ('streams' in data) {
+          const audioStream = data.streams.find(stream => stream['codec_type'] === 'audio')
+          if (audioStream) {
+            return res({
+              absolutePath: data.format.filename,
+              audioStream
+            })
           }
-        })
+        }
+
+        return res({ absolutePath: data.format.filename })
+      }
+
+      if (typeof option === 'string') {
+        return ffmpeg.ffprobe(option, parseFfprobe)
+      }
+
+      return option.ffprobe(parseFfprobe)
     })
   }
 
   export namespace bitrate {
-    export const baseKbitrate = 384
+    const baseKbitrate = 384
 
     const toBits = (kbits: number): number => { return kbits * 8000 }
 
     export const aac = (bitrate: number): number => {
       switch (true) {
-      case bitrate > toBits(384):
+      case bitrate > toBits(baseKbitrate):
         return baseKbitrate
       default:
         return -1 // we interpret it as a signal to copy the audio stream as is
@@ -218,6 +280,11 @@ namespace audio {
     }
 
     export const mp3 = (bitrate: number): number => {
+      /*
+      a 192kbit/sec mp3 doesn't hold as much information as a 192kbit/sec aac.
+      That's why, when using aac, we can go to lower kbit/sec. The equivalences
+      made here are not made to be accurate, especially with good mp3 encoders.
+      */
       switch (true) {
       case bitrate <= toBits(192):
         return 128
@@ -236,37 +303,48 @@ namespace audio {
  * As for the audio, quality '5' is the highest and ensures 96-112kbps/channel
  * See https://trac.ffmpeg.org/wiki/Encode/AAC#fdk_vbr
  */
-async function standard (_ffmpeg) {
-  let _bitrate = audio.bitrate.baseKbitrate
-  let localFfmpeg = _ffmpeg
+async function presetH264 (command: ffmpeg.FfmpegCommand, resolution: VideoResolution, fps: number): Promise<ffmpeg.FfmpegCommand> {
+  let localCommand = command
     .format('mp4')
     .videoCodec('libx264')
     .outputOption('-level 3.1') // 3.1 is the minimal ressource allocation for our highest supported resolution
     .outputOption('-b_strategy 1') // NOTE: b-strategy 1 - heuristic algorythm, 16 is optimal B-frames for it
     .outputOption('-bf 16') // NOTE: Why 16: https://github.com/Chocobozzz/PeerTube/pull/774. b-strategy 2 -> B-frames<16
+    .outputOption('-pix_fmt yuv420p') // allows import of source material with incompatible pixel formats (e.g. MJPEG video)
     .outputOption('-map_metadata -1') // strip all metadata
     .outputOption('-movflags faststart')
-  let _audio = audio.get(localFfmpeg)
-                    .then(res => res)
-                    .catch(_ => undefined)
-
-  if (!_audio) return localFfmpeg.noAudio()
-
-  // we try to reduce the ceiling bitrate by making rough correspondances of bitrates
-  // of course this is far from perfect, but it might save some space in the end
-  if (audio.bitrate[_audio['codec_name']]) {
-    _bitrate = audio.bitrate[_audio['codec_name']](_audio['bit_rate'])
-    if (_bitrate === -1) {
-      return localFfmpeg.audioCodec('copy')
-    }
-  }
 
-  // we favor VBR, if a good AAC encoder is available
-  if ((await checkFFmpegEncoders()).get('libfdk_aac')) {
-    return localFfmpeg
+  const parsedAudio = await audio.get(localCommand)
+
+  if (!parsedAudio.audioStream) {
+    localCommand = localCommand.noAudio()
+  } else if ((await checkFFmpegEncoders()).get('libfdk_aac')) { // we favor VBR, if a good AAC encoder is available
+    localCommand = localCommand
       .audioCodec('libfdk_aac')
       .audioQuality(5)
+  } else {
+    // we try to reduce the ceiling bitrate by making rough correspondances of bitrates
+    // of course this is far from perfect, but it might save some space in the end
+    const audioCodecName = parsedAudio.audioStream[ 'codec_name' ]
+    let bitrate: number
+    if (audio.bitrate[ audioCodecName ]) {
+      bitrate = audio.bitrate[ audioCodecName ](parsedAudio.audioStream[ 'bit_rate' ])
+
+      if (bitrate === -1) localCommand = localCommand.audioCodec('copy')
+      else if (bitrate !== undefined) localCommand = localCommand.audioBitrate(bitrate)
+    }
   }
 
-  return localFfmpeg.audioBitrate(_bitrate)
+  // Constrained Encoding (VBV)
+  // https://slhck.info/video/2017/03/01/rate-control.html
+  // https://trac.ffmpeg.org/wiki/Limiting%20the%20output%20bitrate
+  const targetBitrate = getTargetBitrate(resolution, fps, VIDEO_TRANSCODING_FPS)
+  localCommand = localCommand.outputOptions([`-maxrate ${ targetBitrate }`, `-bufsize ${ targetBitrate * 2 }`])
+
+  // Keyframe interval of 2 seconds for faster seeking and resolution switching.
+  // https://streaminglearningcenter.com/blogs/whats-the-right-keyframe-interval.html
+  // https://superuser.com/a/908325
+  localCommand = localCommand.outputOption(`-g ${ fps * 2 }`)
+
+  return localCommand
 }