]> git.immae.eu Git - github/Chocobozzz/PeerTube.git/blobdiff - server/controllers/api/videos.js
Server: remote request process refractoring
[github/Chocobozzz/PeerTube.git] / server / controllers / api / videos.js
index 6829804ecd82746dab55a30b722e26160516d9d1..75a661bccd77eeead99dde093b4efa36ac558984 100644 (file)
@@ -20,6 +20,7 @@ const validatorsSort = validators.sort
 const validatorsVideos = validators.videos
 const search = middlewares.search
 const sort = middlewares.sort
+const databaseUtils = require('../../helpers/database-utils')
 const utils = require('../../helpers/utils')
 
 const router = express.Router()
@@ -56,7 +57,7 @@ router.get('/abuse',
 router.post('/:id/abuse',
   oAuth.authenticate,
   validatorsVideos.videoAbuseReport,
-  reportVideoAbuse
+  reportVideoAbuseRetryWrapper
 )
 
 router.get('/',
@@ -70,13 +71,13 @@ router.put('/:id',
   oAuth.authenticate,
   reqFiles,
   validatorsVideos.videosUpdate,
-  updateVideo
+  updateVideoRetryWrapper
 )
 router.post('/',
   oAuth.authenticate,
   reqFiles,
   validatorsVideos.videosAdd,
-  addVideo
+  addVideoRetryWrapper
 )
 router.get('/:id',
   validatorsVideos.videosGet,
@@ -103,17 +104,28 @@ module.exports = router
 
 // ---------------------------------------------------------------------------
 
-function addVideo (req, res, next) {
-  const videoFile = req.files.videofile[0]
+// Wrapper to video add that retry the function if there is a database error
+// We need this because we run the transaction in SERIALIZABLE isolation that can fail
+function addVideoRetryWrapper (req, res, next) {
+  const options = {
+    arguments: [ req, res, req.files.videofile[0] ],
+    errorMessage: 'Cannot insert the video with many retries.'
+  }
+
+  databaseUtils.retryTransactionWrapper(addVideo, options, function (err) {
+    if (err) return next(err)
+
+    // TODO : include Location of the new video -> 201
+    return res.type('json').status(204).end()
+  })
+}
+
+function addVideo (req, res, videoFile, finalCallback) {
   const videoInfos = req.body
 
   waterfall([
 
-    function startTransaction (callback) {
-      db.sequelize.transaction().asCallback(function (err, t) {
-        return callback(err, t)
-      })
-    },
+    databaseUtils.startSerializableTransaction,
 
     function findOrCreateAuthor (t, callback) {
       const user = res.locals.oauth.token.User
@@ -158,7 +170,11 @@ function addVideo (req, res, next) {
       const destination = path.join(videoDir, video.getVideoFilename())
 
       fs.rename(source, destination, function (err) {
-        return callback(err, t, author, tagInstances, video)
+        if (err) return callback(err)
+
+        // This is important in case if there is another attempt
+        videoFile.filename = video.getVideoFilename()
+        return callback(null, t, author, tagInstances, video)
       })
     },
 
@@ -191,41 +207,48 @@ function addVideo (req, res, next) {
         if (err) return callback(err)
 
         // Now we'll add the video's meta data to our friends
-        friends.addVideoToFriends(remoteVideo)
-
-        return callback(null, t)
+        friends.addVideoToFriends(remoteVideo, t, function (err) {
+          return callback(err, t)
+        })
       })
-    }
+    },
+
+    databaseUtils.commitTransaction
 
   ], function andFinally (err, t) {
     if (err) {
-      logger.error('Cannot insert the video.')
+      // This is just a debug because we will retry the insert
+      logger.debug('Cannot insert the video.', { error: err })
+      return databaseUtils.rollbackTransaction(err, t, finalCallback)
+    }
 
-      // Abort transaction?
-      if (t) t.rollback()
+    logger.info('Video with name %s created.', videoInfos.name)
+    return finalCallback(null)
+  })
+}
 
-      return next(err)
-    }
+function updateVideoRetryWrapper (req, res, next) {
+  const options = {
+    arguments: [ req, res ],
+    errorMessage: 'Cannot update the video with many retries.'
+  }
 
-    // Commit transaction
-    t.commit()
+  databaseUtils.retryTransactionWrapper(updateVideo, options, function (err) {
+    if (err) return next(err)
 
     // TODO : include Location of the new video -> 201
     return res.type('json').status(204).end()
   })
 }
 
-function updateVideo (req, res, next) {
+function updateVideo (req, res, finalCallback) {
   const videoInstance = res.locals.video
+  const videoFieldsSave = videoInstance.toJSON()
   const videoInfosToUpdate = req.body
 
   waterfall([
 
-    function startTransaction (callback) {
-      db.sequelize.transaction().asCallback(function (err, t) {
-        return callback(err, t)
-      })
-    },
+    databaseUtils.startSerializableTransaction,
 
     function findOrCreateTags (t, callback) {
       if (videoInfosToUpdate.tags) {
@@ -238,12 +261,13 @@ function updateVideo (req, res, next) {
     },
 
     function updateVideoIntoDB (t, tagInstances, callback) {
-      const options = { transaction: t }
+      const options = {
+        transaction: t
+      }
 
       if (videoInfosToUpdate.name) videoInstance.set('name', videoInfosToUpdate.name)
       if (videoInfosToUpdate.description) videoInstance.set('description', videoInfosToUpdate.description)
 
-      // Add tags association
       videoInstance.save(options).asCallback(function (err) {
         return callback(err, t, tagInstances)
       })
@@ -267,26 +291,30 @@ function updateVideo (req, res, next) {
       const json = videoInstance.toUpdateRemoteJSON()
 
       // Now we'll update the video's meta data to our friends
-      friends.updateVideoToFriends(json)
+      friends.updateVideoToFriends(json, t, function (err) {
+        return callback(err, t)
+      })
+    },
 
-      return callback(null, t)
-    }
+    databaseUtils.commitTransaction
 
   ], function andFinally (err, t) {
     if (err) {
-      logger.error('Cannot insert the video.')
-
-      // Abort transaction?
-      if (t) t.rollback()
+      logger.debug('Cannot update the video.', { error: err })
+
+      // Force fields we want to update
+      // If the transaction is retried, sequelize will think the object has not changed
+      // So it will skip the SQL request, even if the last one was ROLLBACKed!
+      Object.keys(videoFieldsSave).forEach(function (key) {
+        const value = videoFieldsSave[key]
+        videoInstance.set(key, value)
+      })
 
-      return next(err)
+      return databaseUtils.rollbackTransaction(err, t, finalCallback)
     }
 
-    // Commit transaction
-    t.commit()
-
-    // TODO : include Location of the new video -> 201
-    return res.type('json').status(204).end()
+    logger.info('Video with name %s updated.', videoInfosToUpdate.name)
+    return finalCallback(null)
   })
 }
 
@@ -335,7 +363,20 @@ function listVideoAbuses (req, res, next) {
   })
 }
 
-function reportVideoAbuse (req, res, next) {
+function reportVideoAbuseRetryWrapper (req, res, next) {
+  const options = {
+    arguments: [ req, res ],
+    errorMessage: 'Cannot report abuse to the video with many retries.'
+  }
+
+  databaseUtils.retryTransactionWrapper(reportVideoAbuse, options, function (err) {
+    if (err) return next(err)
+
+    return res.type('json').status(204).end()
+  })
+}
+
+function reportVideoAbuse (req, res, finalCallback) {
   const videoInstance = res.locals.video
   const reporterUsername = res.locals.oauth.token.User.username
 
@@ -346,21 +387,45 @@ function reportVideoAbuse (req, res, next) {
     reporterPodId: null // This is our pod that reported this abuse
   }
 
-  db.VideoAbuse.create(abuse).asCallback(function (err) {
-    if (err) return next(err)
+  waterfall([
+
+    function startTransaction (callback) {
+      db.sequelize.transaction().asCallback(function (err, t) {
+        return callback(err, t)
+      })
+    },
 
-    // We send the information to the destination pod
-    if (videoInstance.isOwned() === false) {
-      const reportData = {
-        reporterUsername,
-        reportReason: abuse.reason,
-        videoRemoteId: videoInstance.remoteId
+    function createAbuse (t, callback) {
+      db.VideoAbuse.create(abuse).asCallback(function (err, abuse) {
+        return callback(err, t, abuse)
+      })
+    },
+
+    function sendToFriendsIfNeeded (t, abuse, callback) {
+      // We send the information to the destination pod
+      if (videoInstance.isOwned() === false) {
+        const reportData = {
+          reporterUsername,
+          reportReason: abuse.reason,
+          videoRemoteId: videoInstance.remoteId
+        }
+
+        friends.reportAbuseVideoToFriend(reportData, videoInstance)
       }
 
-      friends.reportAbuseVideoToFriend(reportData, videoInstance)
+      return callback(null, t)
+    },
+
+    databaseUtils.commitTransaction
+
+  ], function andFinally (err, t) {
+    if (err) {
+      logger.debug('Cannot update the video.', { error: err })
+      return databaseUtils.rollbackTransaction(err, t, finalCallback)
     }
 
-    return res.type('json').status(204).end()
+    logger.info('Abuse report for video %s created.', videoInstance.name)
+    return finalCallback(null)
   })
 }