egg定时任务
发布于 7 年前 作者 dmodaii 4464 次浏览 来自 分享

代码地址 https://github.com/MoceptWeb/egg-schedule 看之前确定至少了解了一下egg的文档了, 不然看下面是浪费时间哈 有不对的地方请大家猛烈的提醒我吧

egg定时任务

很多情况我们需要去定时(或者就一次)执行某些脚本, 这个时候就可以利用egg的schedule功能了

怎样写

schedule

  • {app_root}/app/schedule.js
    // 通过 schedule 属性来设置定时任务的执行间隔等配置
  static get schedule() {
    return {
      interval: '5m', // 5 min间隔
      type: 'worker', // worker 类型:每台机器上只有一个 worker 会执行这个定时任务
    };
  }
  async subscribe() {
    this.ctx.logger.info('schedule updateOa2User begin')
    const res = await this.ctx.service.portal.oa.updateOa2User();
    this.ctx.logger.info('schedule updateOa2User finish')
  }

启动时候自定决定启动哪些定时任务

在get schedule() 中配置immediate:配置了该参数为 true 时,这个定时任务会在应用启动并 ready 后立刻执行一次这个定时任务

  app.beforeStart(async () => {
    // await app.runSchedule('updateOa2User');updatePortal2User
    await app.runSchedule('updatePortal2User');
  });

service

  • {app_root}/app/service/portal/oa.js

sqlserver 连接

// helper.js 统一连接一个sqlserver connection
const mssql = require('mssql')
let pool = await mssql.connect(config)

// app.js 连接错误的日志
  mssql.on('error', err => {
    console.log('database err', err)
    app.logger.error(err);
    // ... error handler
  })

异步中的多个全部异步完成的操作

  • 例如对一个数据进行一个个的异步操作, 但是最后获取全部异步后的结果

切忌不要在异步中做同步操作, 不然执行顺序很意外!!!

    async updateUser(oaUser) {
        const self = this;
        let promiseAll = [];
      // 设置promise对象,同步发请求
        oaUser.forEach(oa => {
          promiseAll.push(Promise.resolve(self.updateUserByName(oa)));
        });
        await Promise.all(promiseAll);
    }
  • {app_root}/app/service/portal/portal.js

异步中的多个全部异步完成的操作

如果需要一步步获取全部数据(这里是同步)后才要进行全部异步其他操作, 那么需要先将同步操作封装成promise支持异步操作

// 按行特殊处理文件后获取全部数据返回(promise)
async readLine(target) {
      let array = [];
      const self = this;
      const file = await new Promise(function (resolve, reject) {
        lineReader.eachLine(target, function(line, last) {
            // line.split(/\s/)[0]
            let data = line.split(/\s/)
            if(data[2]) {
                array.push({
                    user_id: self.ctx.helper.trim(data[0], '"'),
                    mail: self.ctx.helper.trim(data[1], '"'),
                    user_center_id: self.ctx.helper.trim(data[2], '"'),
                })
            }

            if(last) {
                resolve(array)
            }
        })
      })

      return file;

  }

// 使用
const fileData = await this.readLine(target);
    let promiseAll = [];
    fileData.forEach(portal => {
      promiseAll.push(Promise.resolve(self.updateUserByPortalId(portal)));
    });
await Promise.all(promiseAll);

mysql

  • sql的占位符
 const res = await conn.query('update t_user set mail = ? where user_id = ?', [oaUser.email, user.user_id]);
  • sql的事务
    async sqlBeginTransaction() {
        const conn = await this.app.mysql.beginTransaction();

        try {
            const res = await conn.query('update t_user set mail = ? where user_id = ?', [oaUser.email, user.user_id]);
            if(res && res.affectedRows === 1) {
               await conn.commit();
            } else if(res.affectedRows > 1){
                // this.ctx.logger.error('')
               await conn.rollback()                
            } else {
                await conn.rollback()                
            }
        } catch (err) {
        // error, rollback
          await conn.rollback(); // rollback call won't throw err
          throw err;
        }
    }

extend

  • {app_root}/app/extend/helper.js

统一封装各种数据的连接和error信息

test

  • {app_root}/app/test/service/portal/portal.test.js 待完善

单元测试说明

config

谨记各个环境用的配置是不一样的

单元测试用的是 config.unittest.js

route

control

route和controle配合使用, 可以使用postman进行直接调试

为什么这样写

TODO 分析源码

拓展和优化

  • 将service中的纯数据库封装到model
  • 基于redis的任务消息队列的优化 不需要人工去进行开启任务
  • 编写egg-mssql连接sqlserver
4 回复

这段代码 23333…

async updateUser(oaUser) {
  const self = this;
  let promiseAll = [];
  oaUser.forEach(oa => {
    promiseAll.push(Promise.resolve(self.updateUserByName(oa)));
  });
  await Promise.all(promiseAll);
}

// 简化版
async updateUser(oaUser) {
  const task = oaUser.map(oa => this.updateUserByName(oa));
  await Promise.all(task);
}

@atian25

1、正常情况下 没有其他操作, 直接map返回好了。。。这里确实map比forEach好 2、 但是这个是异步中同步, 直接 oa => this.updateUserByName(oa) 这个是异步中的同步。。。。需要返回的是promise哈

async updateUser(oaUser) {
  const task = oaUser.map(oa => Promise.resolve(this.updateUserByName(oa)));
  await Promise.all(task);
}

@dmodaii 可以这样写的嘛?为什么我觉得如果promise.resolve接的是一个非promise化的异步函数会直接返回函数执行结果(默认那种0,undifined的样子),这样这个代码拿到的结果可能就没了,如果是promise就不用加这一层了把。你这种写法难道还有个作用就是忽略更新失败的项目继续执行?

@dmodaii

try youself

function sayHi(str) {
  return `hi, ${str}`;
}


async function run(arr) {
  const task = arr.map(oa => sayHi(oa));
  return await Promise.all(task);
}

console.log('starting');
run(['tz', 'atian25']).then(result => {
  console.log(result);
});

or just Promise.all([1, 2, 3]).then(console.log);

回到顶部