Преобразование данных из файла Excel(эксель) в JSON массив на PHP

Поводом для написания данной статьи явилось обстоятельство того, что популярная библиотека PHPExcel использует значительный объем оперативной памяти. Так при работе с файлом разметом 2,5 Мегабайта, в котором содержалось примерно 5500 строк по 70 столбцов, иногда не хватало 800 Мегабайт оперативной памяти. Задача по разбору файла Excel возникла, поскольку требовалось загружать товары в Bitrix из эксель таблицы. Поскольку загрузку товаров(а так же торговых предложений) по API из CSV файла иногда приходилось производить частями(при большом списке товаров выполнение сценария так же могло оборваться из за нехватки оперативной памяти), использовать дополнительно библиотеки которые так же потребляют много оперативной памяти было крайне не желательно. Поэтом возникла идея написать класс, который бы производил чтение EXCEL файла, а далее сохранял полученный массив в файл в формате JSON. А уже загрузку данных в Bitrix из этого файла выполнять отдельным PHP скриптом. При этом для унификации использования метода, задумал написать класс, в который бы передавались данные о столбцах EXCEL файла и ключ который далее бы использовался для чтения данных из этого столбца, но уже из JSON файла. Класс в настоящее время не дописан, рассчитываю что далее выложу его обновление.

<?php
ini_set('error_reporting', E_ALL);
ini_set('display_errors', 1);
ini_set('display_startup_errors', 1);

function myint($var,$string = false) {
  if (is_numeric($var)) {
    if ($string) {
      $var = $var * 1;
    }
    if ($var === ((int) $var)) {
      return true;
    }
  }
  return false;
}

$numOfColToLoadAr = array(
  array("num"=>0,"code"=>"productName","colName"=>"Название"),
  array("num"=>1,"code"=>"previewPicture","colName"=>"Картинка для анонса"),//картинка для 
  array("num"=>3,"code"=>"code","colName"=>"Символьный код"),
  array("num"=>4,"code"=>"sectionChainNames","colName"=>"Цепочка разделов"),
  array("num"=>7,"code"=>"TPprice","colName"=>"Цена"),
  array("num"=>8,"code"=>"otherPictures","colName"=>"Прочие изображени"),
  array("num"=>16,"code"=>"XXXXXX","colName"=>"Код"),
  array("num"=>17,"code"=>"size","colName"=>"Размер"),
  array("num"=>23,"code"=>"width","colName"=>"Размер коробки, ширина"),
  array("num"=>25,"code"=>"CML2","colName"=>"Артикул"),
  array("num"=>33,"code"=>"cloth","colName"=>"Материал"),
  array("num"=>63,"code"=>"height","colName"=>"Размер коробки, высота"),
  array("num"=>67,"code"=>"length","colName"=>"Размер коробки, длина"),
  array("num"=>68,"code"=>"weight","colName"=>"Вес изделия")
);

<?php
class myPreLoader {
 public static $mappingByColName = false;//Если флаг установлен в true сопоставление полей производится по именам столбцов в первой строке эксель таблицы, если $firstRowAreColNames имеет значение false то $mappingByColName с значением true будет проигнорировано
 public static $firstRowAreColNames = false;//Флаг указывающий является ли первая строка эксель таблицы названиями столбцов
 public static $checkColNames = false;//Флаг указывающий необходимость проверки соответствия названий столбцов и их порядкового номера в переданном массиве и эксель таблице
 public static $data = array("headers"=>array(),"row"=>array(),"marker"=>"");//Массив с данными
 public static $dataFromExcel = array();
 public static $allNumExist = false;//Устанавливается в true если для всех элементов массива сопоставлений задан корректный элемент num
 public static $allcolNameExist = false;//Устанавливается в true если для всех элементов массива сопоставлений задан корректный элемент allcolNameExist
 public static $JSONDataFile = false;//Если переменная установлена и в методы этого класса save и load не передан параметр имени файла, то будет производиться попытка загрузки файла указанного в этой переменной

public static function setMappingData($data=false) {//принимает массив вида array(array("num"=>0/*Порядковый номер столбца в эксель таблице*/,"code"=>"codeNameInResultArray"/*название ключа для массива возвращаемого при получении результата*/,"colName"=>"Имя столбца в эксель таблице"),)
    self::$data = array("headers"=>array(),"row"=>array(),"marker"=>"");//Обнуляем массив с данными
    self::$allNumExist = false;
    self::$allcolNameExist = false;
    if (($data !== false) and is_array($data)) {
      $dataToInit = array();
      self::$allNumExist = true;
      self::$allcolNameExist = true;
      foreach ($data as $one) {
        if (!(isset($one["code"]) and ($one["code"].""))) {
          echo "Ошибка инициализации разбора Excel файла: ключ массива code обязательно требуется указать.";
          exit;
        }
        if (!(isset($one["num"]) and myint($one["num"],true) and ($one["num"] > 0)) and !(isset($one["colName"]) and ($one["colName"].""))) {
          echo "Ошибка инициализации разбора Excel файла: требуется указать или ключ массива num или colName.";
          exit;
        }
        $item = array();
        if (isset($one["num"])) {
          $item["num"] = $one["num"];
        } else {self::$allNumExist = false;}
        $item["code"] = $one["code"];
        if (isset($one["colName"])) {
          $item["colName"] = $one["colName"];
        } else {self::$allcolNameExist = false;}
        self::$data["headers"][] = $item;
      }
      if (count(self::$data["headers"])) {
        return true;
      } else {
        echo "Не было установлено ни одного правила сопоставления столбцов в эксель файле";
        exit;
      }
    }
    return false;
  }

public static function readExcelFile($fileAddress=false) {//Принимает имя файла не сервере или полный адрес
 self::$dataFromExcel = array();//Обнуляем информацию
 if ($fileAddress !== false) {
 try{
 $xls = PHPExcel_IOFactory::load($fileAddress);
 $xls->setActiveSheetIndex(0);
 $sheet = $xls->getActiveSheet();
 $excelDataAr = $sheet->toArray();
 if (is_array($excelDataAr) and count($excelDataAr)) {//Возможно в проверке на массив нет необходимости
 self::$dataFromExcel = $excelDataAr;
 return true;
 }
 echo "Не удалось получить данные из Excel файла.";
 exit;
 } catch (Exception $ex) {
 echo "Сработало исключение при попытке чтения эксель файла.";
 if (strpos($ex->getMessage(),"File does not exist")) {
 echo "Файл с эксель таблицей не был найден.";
 } else {echo "Убедитесь что файл загружен полностью и является файлом Excel.";}
 exit;
 }
 return $xls;
 }
 return false;
 }

public static function convert() {
    if (is_array(self::$dataFromExcel) and is_array(self::$data) and isset(self::$data["headers"]) and isset(self::$data["row"]) and is_array(self::$data["headers"]) and is_array(self::$data["row"])) {
      self::$data["row"] = array();//Обнуляем массив с данными(в котором уже переконвертированные данные)
      if (!count(self::$data["headers"])) {
        echo "Не были установлены правила сопоставления";
        exit;
      }
      if (!count(self::$dataFromExcel)) {
        echo "Не было получено данных из эксель файла для конвертации";
        exit;
      }
      if (!self::$mappingByColName and !self::$allNumExist) {
        echo "Ошибка! При сопоставлении по номеру поля в настройках мапинга элемент с ключем num должен быть заполнен у всех элеменов";
        exit;
      }
      $dataInExcelAr = array();//В этом массиве будут храниться данные из файла эксель без строки заголовков
      $hearesInExcelAr = false;//Если у эксель файла должна быть строка с заголовками то в переменной будет храниться массив заголовков
      if (self::$firstRowAreColNames) {
        if (count(self::$dataFromExcel) == 1) {
          echo "В Excel файле нет строк с данными кроме строки с заголовками";
          exit;
        }
        if (!(isset(self::$dataFromExcel[0])and is_array(self::$dataFromExcel[0]))) {
          echo "Ошибка структуры данных в массиве заголовков полученных из файла эксель или массив не существует.";
          exit;
        }
        $hearesInExcelAr = self::$dataFromExcel[0];//Получили массив заголовков файла эксель

$dataInExcelAr = self::$dataFromExcel;
        self::$dataFromExcel = array();//Обнуляем массив для конвертации с данными полученными из файла эксель
		unset($dataInExcelAr[0]);//В данном случаи элемент массива с ключем 0 является заголовками, поэтому его необходимо удалить из массива с данными
        if (self::$checkColNames) {//Если требуется проверить сответствие номера столбца и названия переданного в настройках мапинга и указанного в эксель файле
          foreach (self::$data["headers"] as $one) {
            if (!(isset($one["num"]) and myint($one["num"],true) and ($one["num"] >= 0) and isset($one["code"]) and ($one["code"]."") and isset($one["colName"]) and ($one["colName"].""))) {
              echo "Ошибка структуры данных в массиве для мапинга.";
              exit;
            }
            if (!(isset($hearesInExcelAr[$one["num"]]))) {
              echo "Ошибка. В файле эксель отсутствует столбец с номером " . $one["num"] . " который указан в настройках мапинга.";
              exit;
            }
            if (!($hearesInExcelAr[$one["num"]]."")) {
              echo "Ошибка. В файле эксель не заполнено имя столбца с номером " . $one["num"] . " который указан в настройках мапинга.";
              exit;
            }
            if (($hearesInExcelAr[$one["num"]]."") != ($one["colName"]."")) {
              echo "Ошибка. Не соответствует имя столбца в файле эксель(" . $hearesInExcelAr[$one["num"]] . ") и настройках мапинга(" . $one["colName"] . "), номер столбца " . $one["num"] . " который указан в настройках мапинга.";
              exit;
            }
          }
        }
      } else {
        $dataInExcelAr = self::$dataFromExcel;
        self::$dataFromExcel = array();//Обнуляем массив для конвертации с данными полученными из файла эксель
      }
      foreach ($dataInExcelAr as $line => $one) {
        if (!is_array($one)) {
          echo "Ошибка при разборе данных полученных из Excel файла. Данные у элемента массива с ключем $line не являются массивом";
          exit;
        }
        $tmpItemData = array();
        foreach (self::$data["headers"] as $oneRule) {
          if (self::$mappingByColName) {//Если сопоставление требуется производить по имени столбца
            
          } else {//Иначе сопоставление проводится по номеру столбца
            if (!(isset($oneRule["num"]) and myint($oneRule["num"],true) and ($oneRule["num"] >= 0) and isset($oneRule["code"]) and ($oneRule["code"].""))) {
              echo "Ошибка структуры данных в массиве для мапинга.";
              exit;
            }
            $tmpItemData[] = $one[$oneRule["num"]];
          }
        }
        self::$data["row"][] = $tmpItemData;
      }
      self::$data["marker"] = md5("dcba".microtime(true)."abcd") . "--" . date("d-m-Y_H:i:s",time());//Создаём маркер загруженного файла
      return true;
    }
    return false;
  }

public static function save($filename=false) {
 if ($filename===false) {$filename = self::$JSONDataFile;}
 if (($filename !== false) and is_array(self::$data) and isset(self::$data["headers"]) and is_array(self::$data["headers"]) and count(self::$data["headers"]) and isset(self::$data["row"]) and is_array(self::$data["row"]) and count(self::$data["row"]) and isset(self::$data["marker"]) and self::$data["marker"]) {
 if (!$fp = fopen($filename,"w")) {
 echo "Не удалось открыть файл $filename на запись при сохранении. Установите необходимые права доступа для файла.";
 exit;
 }
 fwrite($fp,json_encode(self::$data));
 return true;
 }
 return false;
 }

public static function load($filename=false) {
 if ($filename===false) {$filename = self::$JSONDataFile;}
 if ($filename !== false) {
 $fileData = @file_get_contents($filename);
 if ($fileData === false) {
 echo "Ошибка. Не удалось получить данные из файла $fileData. Возможно файл не существует или не достаточно прав для чтения.";
 exit;
 }
 if (is_null($fileData = json_decode($fileData,true))) {
 echo "Ошибка парсинга JSON данных при разборе файла $filename.";
 exit;
 }
 if (!(is_array($fileData) and isset($fileData["headers"]) and is_array($fileData["headers"]) and isset($fileData["row"]) and is_array($fileData["row"]) and isset($fileData["marker"]) and ($fileData["marker"].""))) {
 echo "Ошибка. Неверная структура данных полученная после декодинга JSON данных из файла $filename.";
 exit;
 }
 if (!count($fileData["headers"])) {
 echo "Ошибка. Отсутствуют названия полей после декодинга JSON данных из файла $filename.";
 exit;
 }
//[НАЧАЛО]Проверяем у всех элементов массива headers наличие элемента с ключем code и не пустым его значением
 foreach ($fileData["headers"] as $key => $one) {
 if (!(isset($one["code"]) and ($one["code"].""))) {
 echo "Ошибка. У элемента массива headers с ключем $key отсутствует или пустой обязательный элемент с ключем code";
 exit;
 }
 }
//[КОНЕЦ]Проверяем у всех элементов массива headers наличие элемента с ключем code и не пустым его значением
 $totalOfFields = count($fileData["headers"]);//Количество полей
//[НАЧАЛО]Проверка соответствия количества полей количеству элементов в каждой строчке данных
 foreach ($fileData["row"] as $key => $one) {
 if (!is_array($one)) {
 echo "Ошибка. Элемент массива данных после декодинга JSON данных из файла $filename к ключем $key не является массивом.";
 exit;
 }
 if (count($one) != $totalOfFields) {
 echo "Ошибка. Количество элементов(" . count($one) . ") массива данных после декодинга JSON данных из файла $filename не соответствует количеству полей в массиве headers($totalOfFields). ";
 exit; 
 }
 }
 self::$data = $fileData;
 return true;
 }
 return false;
 }

public static function get($code=false,$num=false) {
    if ($code !== false and $num !== false) {
      if (is_array(self::$data) and isset(self::$data["headers"]) and is_array(self::$data["headers"]) and count(self::$data["headers"]) and isset(self::$data["row"]) and (self::$data["row"]) and count (self::$data["row"]) and isset(self::$data["marker"]) and (self::$data["marker"]."")) {
        if (isset(self::$data["row"][$num]) and is_array(self::$data["row"][$num])) {
          $numInRow = false;//В этой переменной будет сохранён номер поля который необходимо получить из строки данных
          foreach (self::$data["headers"] as $key => $one) {
            if ($code == $one["code"]) {
              $numInRow = $key;
              break;
            }
          }
          if (($numInRow !== false) and isset(self::$data["row"][$num][$numInRow])) {
            return self::$data["row"][$num][$numInRow];
          }
        }
      }
    }
    return false;
  }
}

var_dump(myPreLoader::setMappingData($numOfColToLoadAr));

require_once 'Classes/PHPExcel/IOFactory.php';

var_dump(myPreLoader::readExcelFile("source.xlsx"));

$Ar = myPreLoader::$dataFromExcel[0];

Комментарии