]> git.immae.eu Git - github/Chocobozzz/PeerTube.git/blobdiff - server/controllers/api/videos/import.ts
Merge branch 'release/3.2.0' into develop
[github/Chocobozzz/PeerTube.git] / server / controllers / api / videos / import.ts
index 4ed58f97856619b21e5dff8b02bd21abca3dffd5..ee63c7b777dacb935beeb9198c76bf2efc096651 100644 (file)
@@ -5,6 +5,7 @@ import * as parseTorrent from 'parse-torrent'
 import { join } from 'path'
 import { getEnabledResolutions } from '@server/lib/config'
 import { setVideoTags } from '@server/lib/video'
+import { FilteredModelAttributes } from '@server/types'
 import {
   MChannelAccountDefault,
   MThumbnail,
@@ -15,7 +16,7 @@ import {
   MVideoThumbnail,
   MVideoWithBlacklistLight
 } from '@server/types/models'
-import { MVideoImport, MVideoImportFormattable } from '@server/types/models/video/video-import'
+import { MVideoImportFormattable } from '@server/types/models/video/video-import'
 import { ServerErrorCode, VideoImportCreate, VideoImportState, VideoPrivacy, VideoState } from '../../../../shared'
 import { HttpStatusCode } from '../../../../shared/core-utils/miscs/http-error-codes'
 import { ThumbnailType } from '../../../../shared/models/videos/thumbnail.type'
@@ -82,32 +83,15 @@ async function addTorrentImport (req: express.Request, res: express.Response, to
   let magnetUri: string
 
   if (torrentfile) {
-    torrentName = torrentfile.originalname
+    const result = await processTorrentOrAbortRequest(req, res, torrentfile)
+    if (!result) return
 
-    // Rename the torrent to a secured name
-    const newTorrentPath = join(CONFIG.STORAGE.TORRENTS_DIR, getSecureTorrentName(torrentName))
-    await move(torrentfile.path, newTorrentPath, { overwrite: true })
-    torrentfile.path = newTorrentPath
-
-    const buf = await readFile(torrentfile.path)
-    const parsedTorrent = parseTorrent(buf) as parseTorrent.Instance
-
-    if (parsedTorrent.files.length !== 1) {
-      cleanUpReqFiles(req)
-
-      return res.status(HttpStatusCode.BAD_REQUEST_400)
-        .json({
-          code: ServerErrorCode.INCORRECT_FILES_IN_TORRENT,
-          error: 'Torrents with only 1 file are supported.'
-        })
-    }
-
-    videoName = isArray(parsedTorrent.name) ? parsedTorrent.name[0] : parsedTorrent.name
+    videoName = result.name
+    torrentName = result.torrentName
   } else {
-    magnetUri = body.magnetUri
-
-    const parsed = magnetUtil.decode(magnetUri)
-    videoName = isArray(parsed.name) ? parsed.name[0] : parsed.name as string
+    const result = processMagnetURI(body)
+    magnetUri = result.magnetUri
+    videoName = result.name
   }
 
   const video = buildVideo(res.locals.videoChannel.id, body, { name: videoName })
@@ -115,26 +99,26 @@ async function addTorrentImport (req: express.Request, res: express.Response, to
   const thumbnailModel = await processThumbnail(req, video)
   const previewModel = await processPreview(req, video)
 
-  const tags = body.tags || undefined
-  const videoImportAttributes = {
-    magnetUri,
-    torrentName,
-    state: VideoImportState.PENDING,
-    userId: user.id
-  }
   const videoImport = await insertIntoDB({
     video,
     thumbnailModel,
     previewModel,
     videoChannel: res.locals.videoChannel,
-    tags,
-    videoImportAttributes,
-    user
+    tags: body.tags || undefined,
+    user,
+    videoImportAttributes: {
+      magnetUri,
+      torrentName,
+      state: VideoImportState.PENDING,
+      userId: user.id
+    }
   })
 
   // Create job to import the video
   const payload = {
-    type: torrentfile ? 'torrent-file' as 'torrent-file' : 'magnet-uri' as 'magnet-uri',
+    type: torrentfile
+      ? 'torrent-file' as 'torrent-file'
+      : 'magnet-uri' as 'magnet-uri',
     videoImportId: videoImport.id,
     magnetUri
   }
@@ -183,45 +167,22 @@ async function addYoutubeDLImport (req: express.Request, res: express.Response)
     previewModel = await processPreviewFromUrl(youtubeDLInfo.thumbnailUrl, video)
   }
 
-  const tags = body.tags || youtubeDLInfo.tags
-  const videoImportAttributes = {
-    targetUrl,
-    state: VideoImportState.PENDING,
-    userId: user.id
-  }
   const videoImport = await insertIntoDB({
     video,
     thumbnailModel,
     previewModel,
     videoChannel: res.locals.videoChannel,
-    tags,
-    videoImportAttributes,
-    user
+    tags: body.tags || youtubeDLInfo.tags,
+    user,
+    videoImportAttributes: {
+      targetUrl,
+      state: VideoImportState.PENDING,
+      userId: user.id
+    }
   })
 
   // Get video subtitles
-  try {
-    const subtitles = await youtubeDL.getYoutubeDLSubs()
-
-    logger.info('Will create %s subtitles from youtube import %s.', subtitles.length, targetUrl)
-
-    for (const subtitle of subtitles) {
-      const videoCaption = new VideoCaptionModel({
-        videoId: video.id,
-        language: subtitle.language,
-        filename: VideoCaptionModel.generateCaptionName(subtitle.language)
-      }) as MVideoCaption
-
-      // Move physical file
-      await moveAndProcessCaptionFile(subtitle, videoCaption)
-
-      await sequelizeTypescript.transaction(async t => {
-        await VideoCaptionModel.insertOrReplaceLanguage(videoCaption, t)
-      })
-    }
-  } catch (err) {
-    logger.warn('Cannot get video subtitles.', { err })
-  }
+  await processYoutubeSubtitles(youtubeDL, targetUrl, video.id)
 
   // Create job to import the video
   const payload = {
@@ -253,7 +214,9 @@ function buildVideo (channelId: number, body: VideoImportCreate, importData: You
     privacy: body.privacy || VideoPrivacy.PRIVATE,
     duration: 0, // duration will be set by the import job
     channelId: channelId,
-    originallyPublishedAt: body.originallyPublishedAt || importData.originallyPublishedAt
+    originallyPublishedAt: body.originallyPublishedAt
+      ? new Date(body.originallyPublishedAt)
+      : importData.originallyPublishedAt
   }
   const video = new VideoModel(videoData)
   video.url = getLocalVideoActivityPubUrl(video)
@@ -317,7 +280,7 @@ async function insertIntoDB (parameters: {
   previewModel: MThumbnail
   videoChannel: MChannelAccountDefault
   tags: string[]
-  videoImportAttributes: Partial<MVideoImport>
+  videoImportAttributes: FilteredModelAttributes<VideoImportModel>
   user: MUser
 }): Promise<MVideoImportFormattable> {
   const { video, thumbnailModel, previewModel, videoChannel, tags, videoImportAttributes, user } = parameters
@@ -355,3 +318,71 @@ async function insertIntoDB (parameters: {
 
   return videoImport
 }
+
+async function processTorrentOrAbortRequest (req: express.Request, res: express.Response, torrentfile: Express.Multer.File) {
+  const torrentName = torrentfile.originalname
+
+  // Rename the torrent to a secured name
+  const newTorrentPath = join(CONFIG.STORAGE.TORRENTS_DIR, getSecureTorrentName(torrentName))
+  await move(torrentfile.path, newTorrentPath, { overwrite: true })
+  torrentfile.path = newTorrentPath
+
+  const buf = await readFile(torrentfile.path)
+  const parsedTorrent = parseTorrent(buf) as parseTorrent.Instance
+
+  if (parsedTorrent.files.length !== 1) {
+    cleanUpReqFiles(req)
+
+    res.status(HttpStatusCode.BAD_REQUEST_400)
+      .json({
+        code: ServerErrorCode.INCORRECT_FILES_IN_TORRENT,
+        error: 'Torrents with only 1 file are supported.'
+      })
+
+    return undefined
+  }
+
+  return {
+    name: extractNameFromArray(parsedTorrent.name),
+    torrentName
+  }
+}
+
+function processMagnetURI (body: VideoImportCreate) {
+  const magnetUri = body.magnetUri
+  const parsed = magnetUtil.decode(magnetUri)
+
+  return {
+    name: extractNameFromArray(parsed.name),
+    magnetUri
+  }
+}
+
+function extractNameFromArray (name: string | string[]) {
+  return isArray(name) ? name[0] : name
+}
+
+async function processYoutubeSubtitles (youtubeDL: YoutubeDL, targetUrl: string, videoId: number) {
+  try {
+    const subtitles = await youtubeDL.getYoutubeDLSubs()
+
+    logger.info('Will create %s subtitles from youtube import %s.', subtitles.length, targetUrl)
+
+    for (const subtitle of subtitles) {
+      const videoCaption = new VideoCaptionModel({
+        videoId,
+        language: subtitle.language,
+        filename: VideoCaptionModel.generateCaptionName(subtitle.language)
+      }) as MVideoCaption
+
+      // Move physical file
+      await moveAndProcessCaptionFile(subtitle, videoCaption)
+
+      await sequelizeTypescript.transaction(async t => {
+        await VideoCaptionModel.insertOrReplaceLanguage(videoCaption, t)
+      })
+    }
+  } catch (err) {
+    logger.warn('Cannot get video subtitles.', { err })
+  }
+}