Подключаем свои файлы: выгрузки, справочники, проверкиConnecting your files: exports, master data, checks

# -*- coding: utf-8 -*-
"""Загрузка ежемесячных выгрузок продаж в data.json для дашборда.
Load monthly sales exports into data.json for the dashboard.
Папка рядом со скриптом / folders next to the script:
  exports/      Sales_2026-07.xlsx, Sales_2026-08.xlsx ...  (колонки: Город | Код | Количество)
  code_map.csv  код в выгрузке;канонический код   (export code;canonical code)
  city_map.csv  город в выгрузке;город справочника (export city;master city)
Запуск / run:  python load_exports.py            -> data.json + check_report.txt
               python load_exports.py --force    -> записать, даже если есть СТОП (не советую)
"""
import datetime
import json
import re
import sys
from pathlib import Path
from openpyxl import load_workbook
HERE = Path(__file__).resolve().parent          # пути только от папки скрипта / paths only from the script folder
EXPORTS = HERE / "exports"
CLOSED = 202609                                  # последний закрытый месяц ГГГГММ / last closed month YYYYMM
NBSP = " "
# латинские буквы, похожие на русские / Latin letters that look like Cyrillic
TWINS = str.maketrans("ACEHKMOPTXaceopxy", "АСЕНКМОРТХасеорху")
HEAD = {"city": ("город", "city"), "code": ("код", "code"), "qty": ("количество", "qty", "quantity")}
def find_root(markers, start=HERE):
    """Ищет общую папку по уровням: поднимается вверх, пока не найдёт папку со всеми подпапками markers.
    Finds the shared folder by levels: walks up until a folder contains all marker subfolders.
    Имя библиотеки OneDrive у коллег разное, поэтому ищем по содержимому, а не по имени."""
    for p in [start] + list(start.parents):
        if all((p / m).exists() for m in markers):
            return p
    return None
def clean_text(s):
    """Убирает неразрывные пробелы и двойные пробелы; в русских словах меняет латинских двойников на кириллицу."""
    s = str(s).replace(NBSP, " ").strip()
    s = re.sub(r"\s+", " ", s)
    if re.search("[А-Яа-яЁё]", s):
        s = s.translate(TWINS)
    return s
def to_number(v):
    """Число или None. Понимает «1 200», «1200,5», «1200.5». Пусто, «nan», «-» — не число."""
    if isinstance(v, (int, float)):
        return float(v)
    if v is None:
        return None
    s = str(v).replace(NBSP, "").replace(" ", "").replace(",", ".")
    if s.lower() in ("", "nan", "none", "-"):
        return None
    try:
        return float(s)
    except ValueError:
        return None
def read_map(path):
    """Справочник «было;стало» из CSV (UTF-8). Ключ и значение чистятся так же, как данные."""
    out = {}
    for line in path.read_text(encoding="utf-8-sig").splitlines()[1:]:
        if ";" in line:
            a, b = line.split(";", 1)
            out[clean_text(a)] = clean_text(b)
    return out
def month_of(name):
    m = re.search(r"(\d{4})-(\d{2})", name)
    return int(m.group(1) + m.group(2)) if m else None
def pick_files(log):
    """Один месяц — один файл: при повторе берём самый новый по времени изменения и пишем об этом в отчёт."""
    by_month = {}
    for f in sorted(EXPORTS.glob("*.xlsx")):
        if f.name.startswith("~$"):
            continue                              # временный файл открытого Excel / temp file of an open Excel
        mo = month_of(f.name)
        if mo is None:
            log.append(f"ПРОПУСК {f.name}: нет месяца в имени")
            continue
        by_month.setdefault(mo, []).append(f)
    chosen, stops = {}, []
    for mo, files in sorted(by_month.items()):
        if mo > CLOSED:
            log.append(f"ПРОПУСК {mo}: месяц не закрыт ({', '.join(x.name for x in files)})")
            continue
        files.sort(key=lambda x: x.stat().st_mtime)
        if len(files) > 1:
            stops.append(f"СТОП: за {mo} файлов {len(files)}: {', '.join(x.name for x in files)} - оставьте один")
        chosen[mo] = files[-1]
    return chosen, stops
def read_export(path):
    ws = load_workbook(path, read_only=True, data_only=True).active
    rows = list(ws.iter_rows(values_only=True))
    head = [clean_text(h).lower() for h in rows[0]]
    idx = {k: next(i for i, h in enumerate(head) if h in names) for k, names in HEAD.items()}
    return [{k: r[i] for k, i in idx.items()} for r in rows[1:] if any(c is not None for c in r)]
def main():
    start = datetime.datetime.now().timestamp()
    log, stops = [], []
    if not EXPORTS.exists():
        print(f"СТОП: нет папки {EXPORTS}")
        return 1
    codes, cities = read_map(HERE / "code_map.csv"), read_map(HERE / "city_map.csv")
    chosen, st = pick_files(log)
    stops += st
    total_in, data, bad_num, no_code, no_city = 0.0, {}, [], [], []
    for mo, f in chosen.items():
        rows = read_export(f)
        log.append(f"ПРОЧИТАН {f.name}: строк {len(rows)}")
        for r in rows:
            q = to_number(r["qty"])
            if q is None:
                bad_num.append(f"{f.name}: {r}")
                continue
            if not isinstance(r["qty"], (int, float)):
                log.append(f"ЧИСЛО ТЕКСТОМ {f.name}: {r['qty']!r} -> {q:g}")
            total_in += q
            code, city = clean_text(r["code"]), clean_text(r["city"])
            code = codes.get(code)
            city = cities.get(city)
            if code is None:
                no_code.append((f.name, r["code"], q))
                continue
            if city is None:
                no_city.append((f.name, r["city"], q))
                continue
            key = f"{mo}|{city}|{code}"
            data[key] = data.get(key, 0) + q
    total_out = sum(data.values())
    if bad_num:
        stops.append(f"СТОП: не число в количестве, строк {len(bad_num)}")
    if no_code:
        stops.append(f"СТОП: кодов без пары {len(no_code)}, бутылок {sum(x[2] for x in no_code):g}: "
                     + ", ".join(str(x[1]) for x in no_code))
    if no_city:
        stops.append(f"СТОП: городов без пары {len(no_city)}: " + ", ".join(repr(x[1]) for x in no_city))
    if abs(total_in - total_out) > 1e-6 and not (no_code or no_city):
        stops.append(f"СТОП: сумма до склейки {total_in:g} не равна сумме после {total_out:g}")
    report = [f"Прочитано месяцев: {len(chosen)}", f"Сумма до склейки: {total_in:g}", f"Сумма после склейки: {total_out:g}"] + log + stops
    (HERE / "check_report.txt").write_text("\n".join(report), encoding="utf-8")
    for line in report:
        print(line)
    if stops and "--force" not in sys.argv:
        print("Данные НЕ записаны. Исправьте и запустите снова. Отчёт: check_report.txt")
        return 1
    out = HERE / "data.json"
    rows = [{"month": int(k.split("|")[0]), "city": k.split("|")[1], "code": k.split("|")[2], "qty": v} for k, v in sorted(data.items())]
    out.write_text(json.dumps({"rows": rows, "files": [f.name for f in chosen.values()], "closed": CLOSED},
                              ensure_ascii=False, indent=1), encoding="utf-8")
    if out.exists() and out.stat().st_mtime >= start - 1:   # «готово» — только если файл правда записан
        print(f"ГОТОВО: {out.name}, строк {len(rows)}, сумма {total_out:g}")
        return 0
    print("ОШИБКА: data.json не записан")
    return 1
if __name__ == "__main__":
    sys.exit(main())