#!/bin/bash

INDEX_DIR=$1
YT_CLUSTER=$2
YT_DIR=$3

export YT_PROXY=$YT_CLUSTER

./dump_fullarc_to_yt --mode local --index-dir "$INDEX_DIR" --yt $YT_CLUSTER --output "$YT_DIR/docs.msg"
yt sort --src "$YT_DIR/docs.msg" --dst "$YT_DIR/docs.msg" --sort-by key --sort-by subkey

echo "key=$((`date +%s`)) subkey= value=$YT_DIR/docs.msg" | sed -s 's/ /\t/g' | yt write --table "$YT_DIR/master" --format=dsv
yt sort --src "$YT_DIR/master" --dst "$YT_DIR/master" --sort-by key --sort-by subkey

