akirakw

digdag rescheduleで変更したスケジュールがdigdag push時に元に戻る

概要

• 特定の条件下で、 digdag reschedule で変更したスケジュールがdigdag push時に元に戻る。
• backfillを実行するためにrescheduleが必要になる場合があるが、これにより突然backfillが出来なくなるという問題が発生する。

再現手順

1. スケジュール付きのワークフローに対して、スケジュールをdisableする

akirakw

$ digdag server --log-level debug --max-task-threads 10 --config $HOME/digdag/conf/digdag.properties --task-log $HOME/digdag/logs/sessions/
...
2017-03-15 12:53:31 +0900 [DEBUG] (main) io.digdag.core.database.DataSourceProvider: Using database URL jdbc:h2:...
2017-03-15 12:53:31 +0900 [INFO] (main) io.digdag.core.crypto.SecretCryptoProvider: secret encryption engine: disabled
applying 20170116082921 set: [20160602184025, 20160908175551, 20151204221156, 20160818220026, 20160623123456, 20161028112233, 20160818043815, 20160817123456, 20160719172538, 20160610154832, 20161005225356, 20160602123456, 20160926123456, 20161110112233, 20160928203753, 20161209001857, 20170116082921]
applying 20170116090744 set: [20160602184025, 20160908175551, 20151204221156, 20160818220026, 20160623123456, 20170116090744, 20161028112233, 20160818043815, 20160817123456, 20160719172538, 20160610154832, 20161005225356, 20160602123456, 20160926123456, 20161110112233, 20160928203753, 20161209001857, 20170116082921]
error: com.google.inject.

akirakw

node('remote') {
  git url: 'https://github.com/akirakw/parallel-test-executor-plugin-sample.git' , branch: 'wip/gradle'
  stash excludes: 'target/, build/', includes: '**', name: 'source'
}
def splits = splitTests([$class: 'CountDrivenParallelism', size: 2])
def branches = [:]
for (int i = 0; i < splits.size(); i++) {
  def exclusions = splits.get(i);
  branches["split${i}"] = {
    node('remote') {

akirakw

// Use Gists to store code you would like to remember later on
console.log(window); // log the "window" object to the console

akirakw

# Dockerfile for installing GitBucket

FROM ubuntu

# Setup Java
RUN apt-get install -y python-software-properties
RUN add-apt-repository ppa:webupd8team/java
RUN apt-get update
RUN echo oracle-java7-installer shared/accepted-oracle-license-v1-1 select true | /usr/bin/debconf-set-selections
RUN apt-get install -y oracle-java7-installer

akirakw

# ステータス:closedなマイルストーンを検索してIDを調べる
curl https://api.github.com/repos/asakusafw/asakusafw/milestones?state=closed

# URLの末尾の番号を覚えておく
[
  {
    "open_issues": 0,
    "description": "",
    "url": "https://api.github.com/repos/asakusafw/asakusafw/milestones/2",
    "title": "ver.0.2.0",

akirakw

# クリーニング
sudo apt-get clean

# VMのシュリンク
cd /
sudo dd if=/dev/zero of=/0bits bs=20971520
sudo rm /0bits

※シャットダウン後、
「仮想マシン設定の編集」-「ハードウェア」-「ハードディスク」 

akirakw

    106 # Custom Logging levels
    107 
    108 #log4j.logger.org.apache.hadoop.mapred.JobTracker=DEBUG
    109 #log4j.logger.org.apache.hadoop.mapred.TaskTracker=DEBUG
    110 #log4j.logger.org.apache.hadoop.fs.FSNamesystem=DEBUG
    111 log4j.logger.com.asakusafw=DEBUG

akirakw

# ローカルリポジトリを最新に更新
cd asakusa-aggregator
mvn clean install eclipse:eclipse -Dmaven.test.skip=true

# アーキタイプからテストプロジェクト作成
mvn archetype:generate -DinteractiveMode=false -DarchetypeCatalog=local -DarchetypeGroupId=com.asakusafw -DarchetypeArtifactId=asakusa-archetype-batchapp -DarchetypeVersion=0.2-SNAPSHOT -DgroupId=test -DartifactId=testprj -Dversion=1.0-SNAPSHOT -Dpackage=test
# Asakusa Runtime/ThnderGateの入れ換え
cd testprj
mvn assembly:single antrun:run
# ビルド

akirakw

# まずClone
git clone [email protected]:ashigeru/asakusafw.git
cd asakusafw

# リモートブランチのチェックアウト
git branch -a
git checkout -b dmdl origin/dmdl

# ほかのリポジトリのフェッチ
git remote add akirakw https://github.com/akirakw/asakusafw.git