]> git.immae.eu Git - github/Chocobozzz/PeerTube.git/blobdiff - server/tools/peertube-import-videos.ts
Merge branch 'release/3.2.0' into develop
[github/Chocobozzz/PeerTube.git] / server / tools / peertube-import-videos.ts
index 65798adb4d525f814516abda263ebf78f560dadf..b3f57a8f9a78608080a35dae75e8544b4e49a67e 100644 (file)
@@ -1,21 +1,19 @@
 import { registerTSPaths } from '../helpers/register-ts-paths'
 registerTSPaths()
 
-import { accessSync, constants } from 'fs'
-import { join } from 'path'
-import { promisify } from 'util'
-
 import * as program from 'commander'
+import { accessSync, constants } from 'fs'
 import { remove } from 'fs-extra'
 import { truncate } from 'lodash'
+import { join } from 'path'
 import * as prompt from 'prompt'
-
+import { promisify } from 'util'
+import { advancedVideosSearch, getClient, getVideoCategories, login, uploadVideo } from '../../shared/extra-utils/index'
+import { sha256 } from '../helpers/core-utils'
 import { doRequestAndSaveToFile } from '../helpers/requests'
 import { CONSTRAINTS_FIELDS } from '../initializers/constants'
-import { getClient, getVideoCategories, login, searchVideoWithSort, uploadVideo } from '../../shared/extra-utils/index'
-import { sha256 } from '../helpers/core-utils'
-import { buildOriginallyPublishedAt, getYoutubeDLVideoFormat, safeGetYoutubeDL } from '../helpers/youtube-dl'
 import { buildCommonVideoOptions, buildVideoAttributesFromCommander, getLogger, getServerCredentials } from './cli'
+import { YoutubeDL } from '@server/helpers/youtube-dl'
 
 type UserInfo = {
   username: string
@@ -45,22 +43,24 @@ command
   .usage("[global options] [ -- youtube-dl options]")
   .parse(process.argv)
 
-const log = getLogger(program['verbose'])
+const options = command.opts()
+
+const log = getLogger(options.verbose)
 
 getServerCredentials(command)
   .then(({ url, username, password }) => {
-    if (!program['targetUrl']) {
+    if (!options.targetUrl) {
       exitError('--target-url field is required.')
     }
 
     try {
-      accessSync(program['tmpdir'], constants.R_OK | constants.W_OK)
+      accessSync(options.tmpdir, constants.R_OK | constants.W_OK)
     } catch (e) {
-      exitError('--tmpdir %s: directory does not exist or is not accessible', program['tmpdir'])
+      exitError('--tmpdir %s: directory does not exist or is not accessible', options.tmpdir)
     }
 
     url = normalizeTargetUrl(url)
-    program['targetUrl'] = normalizeTargetUrl(program['targetUrl'])
+    options.targetUrl = normalizeTargetUrl(options.targetUrl)
 
     const user = { username, password }
 
@@ -74,9 +74,9 @@ async function run (url: string, user: UserInfo) {
     user.password = await promptPassword()
   }
 
-  const youtubeDL = await safeGetYoutubeDL()
+  const youtubeDLBinary = await YoutubeDL.safeGetYoutubeDL()
 
-  let info = await getYoutubeDLInfo(youtubeDL, program['targetUrl'], command.args)
+  let info = await getYoutubeDLInfo(youtubeDLBinary, options.targetUrl, command.args)
 
   if (!Array.isArray(info)) info = [ info ]
 
@@ -86,16 +86,16 @@ async function run (url: string, user: UserInfo) {
   if (uploadsObject) {
     console.log('Fixing URL to %s.', uploadsObject.url)
 
-    info = await getYoutubeDLInfo(youtubeDL, uploadsObject.url, command.args)
+    info = await getYoutubeDLInfo(youtubeDLBinary, uploadsObject.url, command.args)
   }
 
   let infoArray: any[]
 
   infoArray = [].concat(info)
-  if (program['first']) {
-    infoArray = infoArray.slice(0, program['first'])
-  } else if (program['last']) {
-    infoArray = infoArray.slice(-program['last'])
+  if (options.first) {
+    infoArray = infoArray.slice(0, options.first)
+  } else if (options.last) {
+    infoArray = infoArray.slice(-options.last)
   }
   // Normalize utf8 fields
   infoArray = infoArray.map(i => normalizeObject(i))
@@ -104,12 +104,12 @@ async function run (url: string, user: UserInfo) {
 
   for (const [ index, info ] of infoArray.entries()) {
     try {
-      if (index > 0 && program['waitInterval']) {
-        log.info("Wait for %d seconds before continuing.", program['waitInterval'] / 1000)
-        await new Promise(res => setTimeout(res, program['waitInterval']))
+      if (index > 0 && options.waitInterval) {
+        log.info("Wait for %d seconds before continuing.", options.waitInterval / 1000)
+        await new Promise(res => setTimeout(res, options.waitInterval))
       }
       await processVideo({
-        cwd: program['tmpdir'],
+        cwd: options.tmpdir,
         url,
         user,
         youtubeInfo: info
@@ -119,7 +119,7 @@ async function run (url: string, user: UserInfo) {
     }
   }
 
-  log.info('Video/s for user %s imported: %s', user.username, program['targetUrl'])
+  log.info('Video/s for user %s imported: %s', user.username, options.targetUrl)
   process.exit(0)
 }
 
@@ -130,25 +130,26 @@ async function processVideo (parameters: {
   youtubeInfo: any
 }) {
   const { youtubeInfo, cwd, url, user } = parameters
+  const youtubeDL = new YoutubeDL('', [])
 
   log.debug('Fetching object.', youtubeInfo)
 
   const videoInfo = await fetchObject(youtubeInfo)
   log.debug('Fetched object.', videoInfo)
 
-  const originallyPublishedAt = buildOriginallyPublishedAt(videoInfo)
-  if (program['since'] && originallyPublishedAt && originallyPublishedAt.getTime() < program['since'].getTime()) {
+  const originallyPublishedAt = youtubeDL.buildOriginallyPublishedAt(videoInfo)
+  if (options.since && originallyPublishedAt && originallyPublishedAt.getTime() < options.since.getTime()) {
     log.info('Video "%s" has been published before "%s", don\'t upload it.\n',
-      videoInfo.title, formatDate(program['since']))
+      videoInfo.title, formatDate(options.since))
     return
   }
-  if (program['until'] && originallyPublishedAt && originallyPublishedAt.getTime() > program['until'].getTime()) {
+  if (options.until && originallyPublishedAt && originallyPublishedAt.getTime() > options.until.getTime()) {
     log.info('Video "%s" has been published after "%s", don\'t upload it.\n',
-      videoInfo.title, formatDate(program['until']))
+      videoInfo.title, formatDate(options.until))
     return
   }
 
-  const result = await searchVideoWithSort(url, videoInfo.title, '-match')
+  const result = await advancedVideosSearch(url, { search: videoInfo.title, sort: '-match', searchTarget: 'local' })
 
   log.info('############################################################\n')
 
@@ -161,13 +162,14 @@ async function processVideo (parameters: {
 
   log.info('Downloading video "%s"...', videoInfo.title)
 
-  const options = [ '-f', getYoutubeDLVideoFormat(), ...command.args, '-o', path ]
+  const youtubeDLOptions = [ '-f', youtubeDL.getYoutubeDLVideoFormat(), ...command.args, '-o', path ]
   try {
-    const youtubeDL = await safeGetYoutubeDL()
-    const youtubeDLExec = promisify(youtubeDL.exec).bind(youtubeDL)
-    const output = await youtubeDLExec(videoInfo.url, options, processOptions)
+    const youtubeDLBinary = await YoutubeDL.safeGetYoutubeDL()
+    const youtubeDLExec = promisify(youtubeDLBinary.exec).bind(youtubeDLBinary)
+    const output = await youtubeDLExec(videoInfo.url, youtubeDLOptions, processOptions)
     log.info(output.join('\n'))
     await uploadVideoOnPeerTube({
+      youtubeDL,
       cwd,
       url,
       user,
@@ -180,13 +182,14 @@ async function processVideo (parameters: {
 }
 
 async function uploadVideoOnPeerTube (parameters: {
+  youtubeDL: YoutubeDL
   videoInfo: any
   videoPath: string
   cwd: string
   url: string
   user: { username: string, password: string }
 }) {
-  const { videoInfo, videoPath, cwd, url, user } = parameters
+  const { youtubeDL, videoInfo, videoPath, cwd, url, user } = parameters
 
   const category = await getCategory(videoInfo.categories, url)
   const licence = getLicence(videoInfo.license)
@@ -202,13 +205,10 @@ async function uploadVideoOnPeerTube (parameters: {
   if (videoInfo.thumbnail) {
     thumbnailfile = join(cwd, sha256(videoInfo.thumbnail) + '.jpg')
 
-    await doRequestAndSaveToFile({
-      method: 'GET',
-      uri: videoInfo.thumbnail
-    }, thumbnailfile)
+    await doRequestAndSaveToFile(videoInfo.thumbnail, thumbnailfile)
   }
 
-  const originallyPublishedAt = buildOriginallyPublishedAt(videoInfo)
+  const originallyPublishedAt = youtubeDL.buildOriginallyPublishedAt(videoInfo)
 
   const defaultAttributes = {
     name: truncate(videoInfo.title, {
@@ -307,7 +307,7 @@ function fetchObject (info: any) {
   const url = buildUrl(info)
 
   return new Promise<any>(async (res, rej) => {
-    const youtubeDL = await safeGetYoutubeDL()
+    const youtubeDL = await YoutubeDL.safeGetYoutubeDL()
     youtubeDL.getInfo(url, undefined, processOptions, (err, videoInfo) => {
       if (err) return rej(err)