feat: бэкапы локальных баз данных

.Rprofile

@@ -4,9 +4,8 @@ source("renv/activate.R")
 (function() {
 
   paths <- c(
-    "FORM_AUTH_ENABLED",
-    "FORM_VERSION",
-    "FORM_TITLE"
+    "R_CONFIG_ACTIVE",
+    "AUTH_DB_KEY"
   )
 
   lines <- paths[Sys.getenv(paths) == ""]

.gitignore

@@ -1,9 +1,8 @@
 /renv
 /temp
+/_devel
 
 scheme.rds
-configs/schemas/d2tra_t.xlsx
-configs/schemas/antifib.xlsx
 .Renviron
 .DS_Store
 .lintr

README.md

@@ -12,6 +12,45 @@
 
 ...
 
+# Quick start
+
+## локально:
+
+Копирование содержимого репозитория
+```bash
+git clone https://gitea.madelirihs.ru/madeliri/shiny_form.git
+```
+
+Восстановление окружения
+```r
+renv::init()
+```
+
+# Насторйки
+
+## переменные окружения
+
+### работа с авторизацией
+
+Пароль базы данных с авторизацией необходимо указать в `.Renviron`:
+```
+AUTH_DB_KEY = "this_is_your_password"
+```
+
+### бэкапы локальных баз
+
+Для создания бэкапов локальных баз данных, необходимо указать путь куда будут сохранятся бэкапы в переменной окружения:
+```
+FORM_APP_LOCAL_DB_BACKUP_PATH="path_to_backups"
+```
+
+Проверка осуществляется при каждом запуске приложения, бэкапы создаются раз в день (при первом запуске).
+
+Количество сохраняемых бэкапов:
+```
+FORM_APP_LOCAL_DB_BACKUP_LIMITS=3
+```
+
 
 # Cтруктура `schema.xlsx`
 
@@ -41,11 +80,6 @@
 
 ## Авторизация
 
-Пароль базы данных с авторизацией необходимо указать в `.Renviron`:
-
-```
-AUTH_DB_KEY = "this_is_your_password"
-```
 
 # trade-ofs
 

app.R

@@ -9,30 +9,34 @@ suppressPackageStartupMessages({
   library(shinymanager)
 })
 
-# КАК ЗАПРЯТЯАТЬ ID
-
 # SOURCE FILES ============================
 box::purge_cache()
 box::use(
   modules/utils,
   modules/global_options,
-  modules/global_options[enabled_schemas],
   modules/db,
   modules/data_validation,
   modules/scheme_generator[scheme_R6]
 )
 
-# SETTINGS ================================
-FILE_SCHEME  <- fs::path("configs/schemas", "schema.xlsx")
-AUTH_ENABLED <- Sys.getenv("FORM_AUTH_ENABLED", FALSE)
-HEADER_TEXT  <- sprintf("%s (%s)", Sys.getenv("FORM_TITLE", "NA"), Sys.getenv("FORM_VERSION", "NA"))
-
 global_options$set_global_options(
   shiny.host = "0.0.0.0"
-  # enabled_schemas = "example_of_scheme"
 )
+
 global_options$check_and_init_scheme()
 
+# global vars
+box::use(
+  modules/global_options[AUTH_ENABLED]
+)
+
+# SETTINGS ================================
+HEADER_TEXT  <- sprintf("%s (%s)", config::get("form_name"), config::get("form_app_version"))
+
+# sadasdasdasdasdas
+options(box.path = config::get("form_app_configure_path"))
+box::use(configs/enabled_schemes[enabled_schemes])
+
 # CHECK FOR PANDOC
 # TEMP ! NEED TO HANDLE
 rmarkdown::find_pandoc(dir = "/opt/homebrew/bin/")
@@ -45,7 +49,14 @@ schms <- readRDS("scheme.rds")
 
 # UI =======================
 ui <- page_sidebar(
-  title = HEADER_TEXT,
+  # title = HEADER_TEXT,
+  title = tagList(
+    h4(HEADER_TEXT, style = "margin-top: .5rem"),
+    tooltip(
+      span("about", icon("circle-info", lib = "font-awesome")),
+      "Данный функционал позволяет обрабатывать информацию о пациентах на комиссию, используя Excel (обновление данных возможно через окно формирования списка пациентов)"
+    )
+  ),
   theme = bs_theme(version = 5, preset = "bootstrap"),
   sidebar = sidebar(
     actionButton("add_new_main_key_button", "Добавить новую запись", icon("plus", lib = "font-awesome")),
@@ -59,12 +70,9 @@ ui <- page_sidebar(
     position = "left",
     open = list(mobile = "always")
   ),
-  as_fill_carrier(uiOutput("main_ui_navset"))
+  as_fill_carrier(uiOutput("main_ui_navset")),
 )
 
-# MODALS ========================
-# окно для подвтерждения очищения данных
-
 # init auth =======================
 if (AUTH_ENABLED) {
   # shinymanager::set_labels("en", "Please authenticate" = "scheme()")
@@ -147,8 +155,8 @@ server <- function(input, output, session) {
     nested_form_id = NULL
   )
 
-  scheme <- reactiveVal(enabled_schemas[1]) # наименование выбранной схемы
-  mhcs   <- reactiveVal(schms[[enabled_schemas[1]]]) # объект для выбранной схемы
+  scheme <- reactiveVal(enabled_schemes[1]) # наименование выбранной схемы
+  mhcs   <- reactiveVal(schms[[enabled_schemes[1]]]) # объект для выбранной схемы
   observers_started <- reactiveVal(NULL)
 
   main_form_is_empty <- reactiveVal(TRUE)
@@ -166,7 +174,7 @@ server <- function(input, output, session) {
         shiny::radioButtons(
           "schmes_selector",
           label = strong("Выбрать базу данных для работы:"),
-          choices = enabled_schemas,
+          choices = enabled_schemes,
           selected = scheme()
         ),
         "Для начала работы нужно создать новую запись или загрузить существующую!",
@@ -662,7 +670,7 @@ server <- function(input, output, session) {
       need(values$main_key, "⚠️ Необходимо указать id пациента!")
     )
     span(
-      strong("Таблица: "), names(enabled_schemas)[enabled_schemas == scheme()],
+      strong("Таблица: "), names(enabled_schemes)[enabled_schemes == scheme()],
       br(),
       strong("ID: "), values$main_key
     )
@@ -896,8 +904,10 @@ server <- function(input, output, session) {
       list_of_df[["meta"]] <- dplyr::tribble(
         ~`Параметр`      , ~`Значение`,
         "Пользователь"   , ifelse(AUTH_ENABLED, res_auth$user, "anonymous"),
-        "Название базы"  , names(enabled_schemas)[enabled_schemas == scheme()],
+        "Название базы"  , names(enabled_schemes)[enabled_schemes == scheme()],
         "id базы"        , scheme(),
+        "id формы"       , config::get("form_id"),
+        "ver формы"      , config::get("form_app_version"),
         "Время выгрузки" , format(Sys.time(), "%d.%m.%Y %H:%M:%S"),
       )
 
@@ -1187,7 +1197,7 @@ server <- function(input, output, session) {
       "exporting data to xlsx",
       "importing data from xlsx"
     ),
-    key = NULL,
+    key = NA,
     con
   ) {
 
@@ -1196,6 +1206,8 @@ server <- function(input, output, session) {
     action_row <- tibble(
       date        = Sys.time(),
       user        = ifelse(AUTH_ENABLED, res_auth$user, "anonymous"),
+      app_id      = config::get("form_id"),
+      app_ver     = config::get("form_app_version"),
       remote_addr = session$request$REMOTE_ADDR,
       key         = key,
       action      = action,

config.yml

@@ -0,0 +1,13 @@
+default:
+  form_app_version: 0.15.0
+  form_id: new_formy
+  form_name: NEW FORMY
+
+prod:
+  form_app_configure_path: "."
+  form_auth_enabled: true
+
+devel:
+  form_app_configure_path: _devel/d2tra
+  form_auth_enabled: false
+  form_app_version: 0.15.0 dev

configs/enabled_schemes.R

@@ -0,0 +1,4 @@
+#' @export
+enabled_schemes <- c(
+  `Тестовая база данных` = "example_of_scheme"
+)

modules/data_validation.R

@@ -1,14 +1,13 @@
+options(box.path = here::here())
+box::use(modules/data_manipulations[is_this_empty_value])
 
 #' @export
 init_val = function(scheme, ns) {
 
-  options(box.path = here::here())
-  box::use(modules/data_manipulations[is_this_empty_value])
-
   iv <- shinyvalidate::InputValidator$new()
 
   # если передана функция с пространством имен, то происходит модификация id
-  if(!missing(ns)) {
+  if (!missing(ns)) {
     scheme <- scheme |>
       dplyr::mutate(form_id = ns(form_id))
   }
@@ -37,18 +36,7 @@ init_val = function(scheme, ns) {
       # value `0; 250` -> transform to rule validation value from 0 to 250
       if (form_type == "number") {
 
-        iv$add_rule(x_input_id, function(x) {
-          # exit if empty
-          if (is_this_empty_value(x)) {
-            return(NULL)
-          }
-          # хак для пропуска значений
-          if (x == "NA") return(NULL)
-
-          # check for numeric
-          # if (grepl("^[-]?(\\d*\\,\\d+|\\d+\\,\\d*|\\d+)$", x)) NULL else "Значение должно быть числом."
-          if (grepl("^[+-]?\\d*[\\.|\\,]?\\d+$", x)) NULL else "Значение должно быть числом."
-        })
+        iv$add_rule(x_input_id, val_is_a_number)
 
         # проверка на соответствие диапазону значений
         if (!is.na(choices)) {
@@ -59,51 +47,15 @@ init_val = function(scheme, ns) {
           if (length(ranges) > 3) {
             warning("Количество переданных элементов'", x_input_id, "' > 2")
           } else {
-            iv$add_rule(
-              x_input_id,
-              function(x) {
-
-                # exit if empty
-                if (is_this_empty_value(x)) {
-                  return(NULL)
-                }
-
-                if (x == "NA") return(NULL)
-
-                # замена разделителя десятичных цифр
-                x <- stringr::str_replace(x, ",", ".")
-
-                # check for currect value
-                if (dplyr::between(as.double(x), ranges[1], ranges[2])) {
-                  NULL
-                } else {
-                  glue::glue("Значение должно быть между {ranges[1]} и {ranges[2]}.")
-                }
-              }
-            )
+            iv$add_rule(x_input_id, val_number_within_a_range, ranges = ranges)
           }
         }
       }
 
       if (form_type %in% c("select_multiple", "select_one", "radio", "checkbox")) {
-        iv$add_rule(x_input_id, function(x) {
-
-          if (length(x) == 1) {
-            if (is_this_empty_value(x)) return(NULL)
-          }
-
-          # проверка на соответствие вариантов схеме ---------
-          compare_to_dict <- (x %in% choices)
-          if (!all(compare_to_dict)) {
-
-            text <- paste0("'",x[!compare_to_dict],"'", collapse = ", ")
-            glue::glue("варианты, не соответствующие схеме: {text}")
-          }
-        })
-
+        iv$add_rule(x_input_id, val_choice_within_a_dict, choices = choices)
       }
 
-
       # if in `required` column value is `1` apply standart validation
       if (!is.na(val_required) && val_required == 1) {
         iv$add_rule(x_input_id, shinyvalidate::sv_required(message = "Необходимо заполнить."))
@@ -111,4 +63,54 @@ init_val = function(scheme, ns) {
     }
   )
   iv
+}
+
+# работа с числовыми значениями ------------------
+## проверка является ли значение числом ----------
+val_is_a_number = function(x) {
+
+  # exit if empty
+  if (is_this_empty_value(x)) return(NULL)
+  # хак для пропуска значений
+  if (x == "NA") return(NULL)
+
+  # check for numeric
+  # if (grepl("^[-]?(\\d*\\,\\d+|\\d+\\,\\d*|\\d+)$", x)) NULL else "Значение должно быть числом."
+  if (grepl("^[+-]?\\d*[\\.|\\,]?\\d+$", x)) NULL else "Значение должно быть числом."
+
+}
+
+## находится ли число в заданном диапазоне значений -------
+val_number_within_a_range = function(x, ranges) {
+
+  # exit if empty
+  if (is_this_empty_value(x)) return(NULL)
+  if (x == "NA") return(NULL)
+
+  # замена разделителя десятичных цифр
+  x <- stringr::str_replace(x, ",", ".")
+
+  # check for currect value
+  if (dplyr::between(as.double(x), ranges[1], ranges[2])) {
+    NULL
+  } else {
+    glue::glue("Значение должно быть между {ranges[1]} и {ranges[2]}.")
+  }
+}
+
+# списки ---------------------------------------------------------
+## являются ли выбранные значения допустимы (согласно файлу схемы)
+val_choice_within_a_dict = function(x, choices) {
+
+  if (length(x) == 1) {
+    if (is_this_empty_value(x)) return(NULL)
+  }
+
+  # проверка на соответствие вариантов схеме ---------
+  compare_to_dict <- (x %in% choices)
+  if (!all(compare_to_dict)) {
+
+    text <- paste0("'",x[!compare_to_dict],"'", collapse = ", ")
+    glue::glue("варианты, не соответствующие схеме: {text}")
+  }
 }

modules/db.R

@@ -4,7 +4,12 @@
 #' @param where text mark to distingiush calss
 make_db_connection = function(scheme, where = "") {
   if (getOption("APP.DEBUG", FALSE)) message("=== DB CONNECT ", where)
-  DBI::dbConnect(RSQLite::SQLite(), fs::path("db", scheme, ext = "sqlite"))
+  DBI::dbConnect(RSQLite::SQLite(), fs::path(
+    config::get("form_app_configure_path"),
+    "db",
+    scheme, 
+    ext = "sqlite"
+  ))
 }
 
 #' @export
@@ -12,12 +17,14 @@ make_db_connection = function(scheme, where = "") {
 #' Function to close connection to db, disigned to easy dubugging and
 #' hide warnings.
 close_db_connection = function(con, where = "") {
+
   tryCatch(
     expr = DBI::dbDisconnect(con),
     error = function(e) print(e),
     warning = function(w) if (getOption("APP.DEBUG", FALSE)) message("=!= ALREADY DISCONNECTED ", where),
     finally = if (getOption("APP.DEBUG", FALSE)) message("=/= DB DISCONNECT ", where)
   )
+
 }
 
 #' @export
@@ -201,9 +208,6 @@ write_df_to_db = function(
       dplyr::across(tidyselect::all_of({{number_columns}}), ~ gsub("\\.", "," , .x)),
       dplyr::across(tidyselect::all_of({{other_cols}}), as.character),
     )
-  
-  df |>
-    dplyr::glimpse()
 
   if (table_name == "main") {
     del_query <- glue::glue("DELETE FROM main WHERE {main_key_id} = '{main_key_value}'")
@@ -332,3 +336,71 @@ excel_to_db_dates_converter = function(date) {
   fin_date <- as.character(format(fin_date, "%Y-%m-%d"))
   fin_date
 }
+
+#' @export
+local_db_backup <- function(
+  db_name,
+  backups_paths = Sys.getenv("FORM_APP_LOCAL_DB_BACKUP_PATH"),
+  backups_limit = as.integer(Sys.getenv("FORM_APP_LOCAL_DB_BACKUP_LIMITS", 5))
+) {
+  
+  db_path <- fs::path(config::get("form_app_configure_path"), "db")
+  db_full_path <- fs::path(db_path, db_name, ext = "sqlite")
+  
+  backup_folder <- fs::path(backups_paths, db_name)
+  
+  if (!dir.exists(backup_folder)) dir.create(backup_folder, recursive = TRUE)
+  
+  date_mark <- format(Sys.time(), "%Y%m%d")
+  
+  schedule <- c(
+    daily = 1,
+    weekly = 7,
+    monthly = 28
+  )
+  
+  purrr::walk2(
+    .x = schedule,
+    .y = names(schedule),
+    .f = \(schedule_days, schedule_name) {
+  
+      # daily
+      daily_folder  <- fs::path(backup_folder, schedule_name)
+      todays_backup <- fs::path(daily_folder, paste0(db_name, "_", format(Sys.time(), "%Y%m%d")), ext = "sqlite")
+  
+      if (!dir.exists(daily_folder)) dir.create(daily_folder)
+  
+      existed_files <- fs::dir_ls(daily_folder, regexp = "((?:19|20)\\d\\d)(0?[1-9]|1[012])([12][0-9]|3[01]|0?[1-9])")
+      existed_files <- sort(existed_files, decreasing = TRUE)
+  
+      # если бэкап для сегодняшнего дня есть - скипаем процедуру
+      if (todays_backup %in% existed_files) {
+        return()
+      }
+  
+      # парсим даты
+      dates <- stringr::str_extract(existed_files, "((?:19|20)\\d\\d)(0?[1-9]|1[012])([12][0-9]|3[01]|0?[1-9])")
+      dates <- as.Date(dates, "%Y%m%d")
+
+      # если количество существующих бэкапов значимо превышает установленный лимит, удаляем лишнее
+      if (length(existed_files) > backups_limit) {
+        file.remove(utils::tail(existed_files, length(existed_files) - backups_limit))
+      }
+
+      # если количество существующих бэкапов равно имеющемуся и пора делать бэкап - делаем бэкап, удаляем послендий файл
+      if (length(existed_files) >= backups_limit & dates[1] + schedule_days == Sys.Date()) {
+  
+        file.remove(utils::tail(existed_files, 1))
+        file.copy(db_full_path, todays_backup)
+  
+      } else if(length(existed_files) == 0) {
+  
+        file.copy(db_full_path, todays_backup)
+
+      }
+  
+    }
+  )
+
+}
+

modules/global_options.R

@@ -3,13 +3,27 @@
 set_global_options = function(
   SYMBOL_DELIM = "; ",
   APP.DEBUG = FALSE,
-  # APP.FILE_DB = fs::path("data.sqlite"),
   shiny.host = "127.0.0.1",
   shiny.port = 1338,
   ...
 ) {
+  
+  config_params_to_check <- c(
+    "form_app_version",
+    "form_app_configure_path",
+    "form_auth_enabled",
+    "form_id",
+    "form_name"
+  )
+  
+  expected_params_in_config <- config_params_to_check %in% names(config::get())
+  if (!all(expected_params_in_config)) {
+    cli::cli_abort(c("ну так не пойдет:", paste("-", config_params_to_check[!expected_params_in_config])))
+  }
+
   options(
     SYMBOL_DELIM = SYMBOL_DELIM,
+    # form.db_path = config::get("form_db_path"),
     APP.DEBUG = APP.DEBUG,
     # APP.FILE_DB = APP.FILE_DB,
     shiny.host = shiny.host,
@@ -19,28 +33,35 @@ set_global_options = function(
 }
 
 #' @export
-enabled_schemas <- c(
-  `Тестовая база данных` = "example_of_scheme"
-  # `D2TRA (для отладки)` = "d2tra_t"
-)
+AUTH_ENABLED <- config::get("form_auth_enabled")
 
 #' @export
 check_and_init_scheme = function() {
 
   cli::cli_inform(c("*" = "проверка схемы..."))
 
+  options(box.path = here::here())
+  box::use(modules/db[local_db_backup])
+
+  options(box.path = config::get("form_app_configure_path"))
+  box::use(configs/enabled_schemes[enabled_schemes])
+
+  # список файлов, изменение которых, приведут к переинициализиации схемы
   files_to_watch <- c(
+    fs::path(config::get("form_app_configure_path"), "configs", "enabled_schemes.R"),
     "modules/scheme_generator.R",
     "modules/utils.R"
   )
 
-  scheme_names <- enabled_schemas
-  scheme_file <- paste0("configs/schemas/", scheme_names, ".xlsx")
+  scheme_names <- enabled_schemes
+  scheme_file <- paste0(config::get("form_app_configure_path"), "/configs/schemas/", scheme_names, ".xlsx")
   scheme_file <- stats::setNames(scheme_file, scheme_names)
 
-  if (!all(file.exists(scheme_file))) cli::cli_abort(c("Отсутствуют файлы схем для следующих наименований:", paste("-", names(scheme_file)[!file.exists(scheme_file)])))
+  if (!all(file.exists(scheme_file))) {
+    cli::cli_abort(c("Отсутствуют файлы схем для следующих наименований:", paste("-", names(scheme_file)[!file.exists(scheme_file)])))
+  }
   
-  db_files <- paste0("db/", scheme_names, ".sqlite")
+  db_files <- paste0(config::get("form_app_configure_path"), "/db/", scheme_names, ".sqlite")
 
   hash_file   <- "temp/schema_hash.rds"
 
@@ -54,7 +75,7 @@ check_and_init_scheme = function() {
 
   # в ином случае - проверяем кэш
   } else {
-    
+
     saved_hash <- readRDS(hash_file)
 
     # если данные были изменены проводим реинициализацию таблицы и схемы
@@ -68,12 +89,18 @@ check_and_init_scheme = function() {
     }
   }
 
+  # MAKING BACKUPS
+  if (Sys.getenv("FORM_APP_LOCAL_DB_BACKUP_PATH") != "") {
+    cli::cli_inform(c("*" = "создание бэкапов баз данных..."))
+    purrr::walk(scheme_names, local_db_backup)
+    
+  }
+
   # перезаписываем файл
   if (!dir.exists("temp")) dir.create("temp")
   saveRDS(exist_hash, hash_file)
 }
 
-
 init_scheme = function(scheme_file) {
 
   options(box.path = here::here())
@@ -82,7 +109,8 @@ init_scheme = function(scheme_file) {
     modules/scheme_generator[scheme_R6]
   )
 
-  if (!dir.exists("db")) dir.create("db")
+  db_path <- fs::path(config::get("form_app_configure_path"), "db")
+  if (!dir.exists(db_path)) dir.create(db_path)
 
   cli::cli_h1("Инициализация схемы")
   schms <- purrr::map2(