Версия библиотеки curlpro над которой ведётся работа

Изменения внесённые в библиотеку в период с 19.10.2022 по 20.10.2022(версия 1.a01xA), 31.10.2022 был добавлен метод getHeaderByName для получения одного заголовка по имени заголовка.

<?php /* CurlPro version 1.a01xB от 31.10.2022
   CurlPro - библиотека упрощающая работу с php-curl. Может быть использована для парсинга сайтов.
   Официальный сайт CurlPro http://curlpro.ivru.net
   Авторские права: Николаев Евгений | nikolaevevge@mail.ru | https://vk.com/nikolaevevge
*/

class textparser {
  public $tolower = true; //если истинный, то осуществляется регистронезависимый поиск. Если лож - то регистрозависимый
  public $moreone = 1; // если лож - то возвращается одно значение. Если истина, то все найденные вхождения в виде массива или строки если найдено одно значение. Можно задать количество возвращаемых ответов например $moreone=4
  // если $olyfirst = 1 или =false - возвращается строка с результатом, в случаи неудачи - false
  // если $olyfirst > 1 или true - всегда возвращается массив. Если результатов нет пустой массив. Если 1 результат массив из одного элемента
  public $startpos = 0;// номер символа с которого начинается поиск
  public $startplus = false; // Если задано положительное число(не нуль) то поиск осуществляется в диапазоне с символа $startpos плюс $startplus колличество символов. В данном случаи $endpos никак не учитывается, даже если отличается от false
  public $endpos = false; // номер символа которым заканчивается поиск
  public $startrequired = true; // Обязательно наличие начального поискового элемента, за исключением случаев если $start = false
  public $endrequired = true; // Обязательно наличие конечного поискового элемента, за исключением случаев если $end = false
  public $requiredifarray = false; // Если значение устанавливается в true когда $startrequired и $endrequired установлены оба в false к массиву результатов будет добавлен кусок строки контента, оставшийся после всех разбиений(фактически мусор). Нужно решить что в этом случаи делать с добавлениями $start и $end в результаты...
  public $startinclude = false; // true - Включать первый поисковый элемент в результат
  public $endinclude = false; // true - Включить последний поисковый элемент в результат
  public $trim = true; // Вырезать пробелы в начале и конце строки всех результатов
  public $tolose = false; // Если $tolose = true, $start и $end заданы и $endrequired = false то в случаи если $end не найден, дальнейшая разбивка не будет происходить по start. Для rparse зеркально

public $content = false; // Хранение объекта для парсинга

// При создании функции установки $startpos если устанавливается 0 требуется установить false  
// Если $startplus <=0 то обязательно установить его в false. Если $startplus не целое стоит сделать его целым
// Если $start устанавливается в "" считаь $start = false
// Если $end устанавливается в "" считаь $end = false
// Если $moreone устанавливаенся в false установить в 0, если true, то установить в 1

public function getTagNameBeta($text=false) {//Получает имя тега. Входная строка должна начинаться с имени тега или символа / для закрывающего тега и не должна начинаться с символа <
    if (($text !==false) and ($textLen = strlen($text))) {
      $selfClosingFlag = false;
      $tagName = "";
      for ($i=0;$i<$textLen;$i++) {
        $chr = substr($text,$i,1);
        if (($i == 0) and ($chr == "/")) {
          $selfClosingFlag = true;
        } else {
          $ord = ord($chr);
          if (($ord >= 65) and ($ord <= 90) or ($ord >= 97) and ($ord <= 122)) {
            $tagName .= $chr;
          } else {
            break;
          }
        }
      }
      return $tagName;
    }
    return false;
  }

public function getCloseTagPositionBeta($tag=false,$text=false,$ignoreFirstOpeningTag=false) {
    if (($tag !== false) and ($text !== false)) {
      $positionOffset = -2;
      $tagOpeningsCounter = 0;//Сразу же устанавливается поправка на 2 пробела которые будут дописаны к началу строки ниже
      $lastIterationNoClosedTag = false;//Не закрытый тег на прошлой итерации
      if ($ignoreFirstOpeningTag) {$tagOpeningsCounter--;}
      $tag = strtolower($tag);
      $tagLen = strlen($tag);
      $text = "  " . strtolower($text);//Добавляем 2 знака пробел в начало, чтобы не проверять при поиске минусовую позицию если имя тега пришло в начале строки, поскольку может потребоваться найти комбинацию </ перед именем тега

while (($pos = strpos($text,$tag)) !== false) {
        if ($lastIterationNoClosedTag) {
          if (($posMoreSign = strpos($text,">")) !== false) {
            $text = substr($text,$posMoreSign+1);
            $lastIterationNoClosedTag = false;
            if ($posMoreSign < $pos) {
              $pos -= $posMoreSign+1;
              $positionOffset += $posMoreSign+1;
            } else {continue;}
          } else {break;}
        }
        $type = false;
        $textBeforeTag = substr($text,0,$pos);
        $posLessSignThis = false;//Это переменная была добавлена если требуется получить позицию начала закрывающего тега
        if (($tmp = substr($text,$pos-1,1)) == "<") {
          $type = "opening";
          $textBeforeTag = substr($textBeforeTag,0,$pos-1);
          $posLessSignThis = $positionOffset + $pos - 1;
        } elseif (($tmp == "/") and (substr($text,$pos-2,1) == "<")) {
          $type = "covering";
          $textBeforeTag = substr($textBeforeTag,0,$pos-2);
          $posLessSignThis = $positionOffset + $pos - 2;
        }
        if ((($posLessSign = strrpos($textBeforeTag,"<")) !== false) and ((($posMoreSign = strrpos($textBeforeTag,">")) === false) or ($posMoreSign < $posLessSign))) {
          $lastIterationNoClosedTag = true;
          $text = substr($text,$pos+$tagLen);
          $positionOffset += $pos+$tagLen;
        } else {
          $positionOffsetItem = $pos+$tagLen;
          $text = substr($text,$positionOffsetItem);//Остаётся найти в оставшейся части текста символ >
          $positionOffset += $positionOffsetItem;
          if ($type !== false) {
            if (($posMoreSign = strpos($text,">")) !== false) {
              if ($type == "opening") {
                $tagOpeningsCounter++;
              } else {
                if ($tagOpeningsCounter == 0) {
//return $posLessSignThis;//Этой строкой можно вернуть позицию начала искомого закрывающего тега в переданном в функцию тексте
                  return $positionOffset + $posMoreSign + 1;// плюс один это сам символ ">"
                }
                $tagOpeningsCounter--;
              }
              $positionOffsetItem = $posMoreSign+1;
              $text = "  " . substr($text,($positionOffsetItem));
              $positionOffsetItem -= 2;
              $positionOffset += $positionOffsetItem;
            } else {
              break;//Если strpos в If выше вернул false значит закрывающий тег отсуствует и можно выходить из цикла чтобы функция вернула false
            }
          } else {
//echo noxss($text);echo "OPA END1";
          }
        }
      }
    }
    return false;
  }

public function beta2($tagName=false,$atrib="wm-nav-captures") {
//    $atrib = "wm-nav-captures";
    $atribLen = strlen($atrib);
    $pos = strpos($this->content,$atrib);
    echo "$pos";
    $tmp = substr($this->content,0,$pos);

$pos1 = strrpos($tmp,"<");
    if ($pos1 !== false) {echo 2;
      $pos2 = strrpos($tmp,">");
      echo "[$pos1:$pos2]";
      if ($pos1 > $pos2) {//внутри тега, а значит атрибут
        $tagTmp = substr($tmp,($pos1+1));
        $tagName = $this->getTagNameBeta($tagTmp);
        if (!in_array($tagName,$this->$tagNames["notPaired"])) {//Если тег парный
          $continuationText = substr($this->content,$pos+$atribLen);
          if (($posTest = $this->getCloseTagPositionBeta($tagName,$continuationText,true)) !== false) {
            return substr($this->content,$pos1,($pos+$atribLen-$pos1)) . substr($continuationText,0,$posTest);
          }
        }
        echo "продолжение: " . noxss($tagTmp);exit;
      } else {
        echo "вне тега";//а значит не атрибут
      }
    }
  }

public function returncontent ($content="") {
    // вернуть или массив или строку или false в зависимости от результатов и настроек
    return $content;
  }
  
  public function moreone($flag=nil) {
    if ($flag === nil) {
	  return $this->moreone;
	} elseif(($flag === true) or ($flag == 1)) {
	  $this->moreone = true;
	} elseif(($flag === false) or ($flag === 0)) {
	  $this->moreone = false;
	} elseif (is_numeric($flag) and ($flag > 1)) {
	  $this->moreone = $flag * 1;
	} else {
	  return false;
	}
    return true;
  }
  
  public function strposTL($content="",$search="") {
    if ($this->tolower) {
	  $content = strtolower($content);
	  $search = strtolower($search);
	}
    return strpos($content,$search);
  }
  
  public function trim($flag=nil){
    if ($flag === nil) {
	  return $this->trim;
	} elseif($flag) {
	  $this->trim = true;
	} else {
	  $this->trim = false;
	}
	return true;
  }
  
  public function tolose($flag=nil) {
    if ($flag === nil) {
	  return $this->tolose;
	} elseif($flag) {
	  $this->tolose = true;
	} else {
	  $this->tolose = false;
	}
	return true;
  }
  
  public function result($result="",$start="",$end="",$startyes=false,$endyes=false) {// вставляет начальные и конечные элементы в результат, а так же обрезает пробелы если это нужно
    if ($this->trim) {
	  $result = trim($result);
	}
    if ($startyes and $this->startinclude) {
	  $result = $start . $result;
	}
    if ($endyes and $this->endinclude) {
	  $result = $result . $end;
	}
	return $result;
  }
  
  public function results($results=array(),$end=false) {
    // Тестовая штука для $this->tolose Предназначена когда $end=false и $this->tolose=true всегда возвращался один результат не зависимо от остальных настроек. Если убрать эту функцию то передавать ззначение $end в эту функцию не надо
    if ($this->tolose and !$end) {
	  if (count($results)) {
	    return $results[0];
	  }
	}
    // Тестовая штука закончилась

if ($this->moreone == 0) {
      if (count($results)) {
	    return $results[0];
      } else {
	    return false;
	  }
	}
	return $results;
  }
  
  public function string() { // Вернуть контент объекта в формате string
    return $this->content;
  }
  
  
  public function a($content=false,$start=false,$end=false) {
    $results = array();
	if (($content !== false) and ($content !== "")) {
      if (($this->startplus === false) and ($this->endpos !== false) and ($this->endpos < (strlen($content) - 1))) {
		  $content = substr($content,0,($this->endpos+1));
	  }
	  if ($this->startpos !== false) {
	    if ($this->startpos <= (strlen($content) - 1)) {
		  if ($this->startplus !== false) {
		    $content = substr($content,$this->startpos,$this->startplus);
		  } else {
		    $content = substr($content,$this->startpos);
		  }
		} else {
		  $content = "";
		}
	  }
	  if ($content != "") {
		$i = 0;
	    do {
		  $goodflag = false;
		  $start2 = ""; // Реальный начальный элемент поиска из контента для подстановки с учётом регистра
		  $end2 = ""; // Конечный элемент, аналогично $start2
	      if ($start !== false) {
		    if (($pos = $this->strposTL($content,$start)) !== false) {
			  $start2 = substr($content,$pos,strlen($start));
		      $content = substr($content,$pos+strlen($start));
			  $goodflag = true;
		    } elseif ($this->startrequired) {
			  break;
			  // вернуть результаты что контента нет
		    }
		  }
		  if ($end !== false) {
		    if (($pos = $this->strposTL($content,$end)) !== false) {
			  $end2 = substr($content,$pos,strlen($end));
		      $results[] = $this->result(substr($content,0,$pos),$start2,$end2,$goodflag,true);
		      $content = substr($content,$pos+strlen($end));
			  $goodflag = true;
		    } elseif ($this->endrequired) {
			  break;
			} else {
			  if ($goodflag) {
			    if ((($pos = $this->strposTL($content,$start)) !== false) and !$this->tolose) {
			      $results[] = $this->result(substr($content,0,$pos),$start2,$end2,$goodflag,false);
			    } else {
			      $results[] = $this->result($content,$start2,$end2,$goodflag,false);
			    }
			  }
			}
		  } else {
		    if ($goodflag) {
			  if ((($pos = $this->strposTL($content,$start)) !== false) and !$this->tolose) {
			    $results[] = $this->result(substr($content,0,$pos),$start2,$end2,$goodflag,false);
			  } else {
			    $results[] = $this->result($content,$start2,$end2,$goodflag,false);
			  }
			}
		  }
		  if (!$goodflag) {
		    if (!count($results) or $this->requiredifarray) {
		      $results[] = $this->result($content,$start2,$end2,false,false);
			}
		    break;
		  }
		  $i++;
		} while (($this->moreone == 1) or (($this->moreone > 1) and ($this->moreone > $i)));
	  } 
	}
	return $this->results($results,$end);
  }
  public function __toString() {
	  return ($this->content . "");
  }
  
  public function val() {
    return $this->content;
  }
  
  public function __construct($content = "") {
    $this->content = $content;
    return $this;
  }

public function parse($start=false,$end=false) {
    $content = $this->content;
	$results = $this->a($content,$start,$end);
	$results2 = false;
	if (is_array($results)) {
	  $results2 = array();
      foreach ($results as $v) {
	    $results2[] = new textparser($v);
	  }
	} else {
	  $results2 = new textparser($results);
	}
	return $results2;
  }

}

class curlPro {
  // Options
  public $fp, $ip, $port, $httphost = '', $uri = '/', $uagent = 'curlPro', $body = false, $head = false, $headarray, $requestheaderarray = array(), $httpprotokol = false, $httpcode = false, $httpcomment = false,$location = false, $contenttype = false, $charset = false, $servercharset = false,$autoencodingenabled=true;
  public $postarray = array();
  public $postactivedata = false;
  public $cookiearray = array(); // Массив который используется курл для установки кук
  public $cookiesetarray = array(); // Массив с куками полученными от веб сервера в результате http/s запроса

public $mysql = false; // Идентификатор подключения к mysql
  public $dbok = false; // Флаг побключения к базе данных
  public $cash = false; // Флаг работы с кешем
  public $linksArray = array(); // Двумерный массив ссылок. Под индексом 0 значение href, под индексом 1 - текст анкора
  public $imagesArray = array(); // Массив изображений
  public $userid = false; // Идентификатор пользователя в базе данных, за которым закрепляется кеш и куки
  public $dom = false; // Объект класса DOM. Используется для XML разбора полученной страницы
  public $httpsflag = false; // флаг использвания https
  public $referrer = ""; // REFERRER откуда осуществляется переход на указанную страницу
  public $requestContentType = false;//Content-Type запроса
  public $requestContentTypeCharset = false;//Кодировка запроса(указывается в контент type в изначальной версии только для JSON)

// Methods
  function __construct() {
    $this->default_settings();
  }

//Преобразует произвольный массив любого уровня вложенности в одномерный массив с ключами соответсвующими правилам оформления массивов для передачи методом POST и значениями соответствующие ключам
  function arrayConvertPostRequestFormat($array=false) {
    if ($array !== false) {
      $noKeys = true;
      if ($noKeys and (array_keys($array) == array_keys(array_keys($array)))) {
        foreach ($array as $key => $item) {
          if (is_array($item)) {
            $noKeys = false;
            break;
          }
        }
      } else {
        $noKeys = false;
      }//var_dump($noKeys);
      foreach ($array as $key => $item) {//echo 0;
//        if (array_key($array) != array_key(array_key($array))) {$noKeys = false;}
        if (is_array($item)) {
          if ($keyAddressLast == "") {//echo 1;
            $array = array_merge($array,arReqursive($item,$key));
//            unset($array[$key]);
          } else {//echo 2;
            $array = array_merge($array,arReqursive($item,$keyAddressLast."[$key]"));
          }
          unset($array[$key]);
        } elseif ($keyAddressLast != "") {
          if ($noKeys and 0) {//Ранее ($noKeys and (array_keys($array) == array_keys(array_keys($array))))
            $array[$keyAddressLast."[]"] = $item;
            $noKeys = false;
          } else {
            $array[$keyAddressLast."[".$key."]"] = $item;
          }
          unset($array[$key]);
        }
      }
      return $array;
    }
    return false;
  }

// Установка или считывание флага https соединения
  function https($flag = null) {
	if ($flag === null) {
		$flag = $this->httpsflag;
	} else {
		if ($flag) {
			$flag = true;
		} else {
			$flag = false;
		}
		$this->httpsflag = $flag;
	}
	return $flag;
  }
  
  function referrer($referrer = null) {
	if ($referrer === null) {
		$referrer = $this->referrer;
	} else {
		$this->referrer = $referrer;
	}
	return $referrer;
  }

function default_settings() {
    $this->newuseragent("User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:12.0) Gecko/20100101 Firefox/12.0");
    $this->port = 80;
    $this->newip('192.168.0.1');
    $this->headarray = array();
    return true;
  }

function getTagBody($tagname = false, $tagattrs = false, $saveto = false, $loadin = false, $boolresult = false) {
//  If ($tagname or $tagattrs) {
//    If ($this->dom()) {
//      return true;
//    }
//  }
  return false; 
}

function getcookiesetarray() {
    return $this->cookiesetarray;
  }
  
  // Установить Cookie полученные от сервера. Дата добавления 11.03.2014 23:15
  function setservercookie() {
    foreach ($this->getcookiesetarray() as $key => $value) {
	  $this->cookiedata($key,$value);
	}
  }

function aceptbrowsercookie() {
    if (count($_COOKIE)) {
      foreach ($_COOKIE as $name => $value) {
        //$this->cookiedata($name,$value);
      }
    }
    return true;
  }

function getcookiedata() {
    return $this->cookiearray;
  }

function post($name = false, $value = false) {
    return $this->postdata($name,$value);
  }

function aceptbrowserpost() {
    if (count($_POST)) {
      foreach ($_POST as $name => $value) {
        $this->postdata($name,$value);
      }
    }
    return true;
  }

function getpostdata() {
    return $this->postarray;
  }
  function showhead() {
    return $this->head;
  }

function setservercharset($charset = false) {
    $this->servercharset = $charset;
    return true;
  }

function getheadarray() {
    return $this->headarray;
  }

function gethttpprotokol() {
    return $this->httpprotokol;
  }

function gethttpcode() {
    return $this->httpcode;
  }

function gethttpcomment() {
    return $this->httpcomment;
  }

function getlocation() {
    return $this->location;
  }

function getcontenttype() {
    return $this->contenttype;
  }

function getcharset() {
    return $this->charset;
  }

function acepturi() { // Установить URI полученный из браузера
    $this->newuri(getenv("REQUEST_URI"));
    return true;
  }

function newuri($uri = '') {

If ($uri == '') {
      $this->uri = '/';
    } else {
      If (mb_substr($uri,0,1) != '/') {
        $uri = '/' . $uri;
      }
      $this->uri = $uri;
    }
  }

function newhttphost($host = false) {
    $this->httphost = $host;
  }

If ($incash == 0) { // Сохраняем в базу данных если кэш включон
      $result = mysql_query("INSERT INTO cp_cash (`host`,`uri`,`head`,`body`,`time`) VALUES ('" . mysql_real_escape_string($this->httphost) . "', '" . mysql_real_escape_string($this->uri) . "', '" . mysql_real_escape_string($this->head) . "', '" . mysql_real_escape_string($this->body) . "', '" . time() . "')", $this->mysql);
    }
    $this->headarray = preg_split("/[\r]\n/m",$this->head);
    foreach ($this->headarray as $value) {
      If (mb_substr(strtolower($value),0,5) == 'http/') {
        $value = mb_substr($value,5);
        If (mb_strpos($value," ")) {
          $this->httpprotokol = mb_substr($value,0,mb_strpos($value," "));
          $value = mb_substr($value,mb_strpos($value," ")+1);
          If (mb_strpos($value," ")) {
            $this->httpcode = mb_substr($value,0,mb_strpos($value," "));
            $value = mb_substr($value,mb_strpos($value," ")+1);
            If ($value != "") {
              $this->httpcomment = $value;
            }
          }
        }
      }
      If (mb_substr(strtolower($value),0,13) == 'content-type:') {
        $value = trim(mb_substr($value,13));
        If (mb_strpos($value,";")) {
          $this->contenttype = mb_substr($value,0,mb_strpos($value,";"));
          $value = mb_substr($value,mb_strpos($value,";")+1);
          If (mb_strpos(strtolower($value),"charset=") !==false) {
            $this->charset = trim(mb_substr($value,(mb_strpos(strtolower($value),"charset=")+8)));
          }
        } else {
          $this->contenttype = $value;
        }
      }
      If (mb_substr(strtolower($value),0,11) == 'set-cookie:') {
/*
	  Set-Cookie:"Mpop=1394650954:5c6547575c7c0104190502190a1d00071c02054f6a5d5e465e07070602031e08020e1e5750535e5c50524352435651165450595a164047:nikolaevevge@mail.ru:; expires=Tue, 10 Jun 2014 19:02:34 GMT; path=/; domain=.mail.ru
ssdc=4147faa666fd43028a0b96094dab5652; expires=Tue, 10 Jun 2014 19:02:34 GMT; path=/; domain=.auth.mail.ru; Secure; HttpOnly
ssdc_info=4147:0:1394650954; expires=Tue, 10 Jun 2014 19:02:34 GMT; path=/; domain=.auth.mail.ru; HttpOnly
t=obLD1AAAAAAIAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAABAAAAAAAAAAAAAACAAAEBwgcA; expires=Mon, 08 Sep 2014 19:02:34 GMT; path=/; domain=.mail.ru"

"Mpop=1394650954:5c6547575c7c0104190502190a1d00071c02054f6a5d5e465e07070602031e08020e1e5750535e5c50524352435651165450595a164047:nikolaevevge@mail.ru:; expires=Tue, 10 Jun 2014 19:02:34 GMT; path=/; domain=.mail.russdc=4147faa666fd43028a0b96094dab5652; expires=Tue, 10 Jun 2014 19:02:34 GMT; path=/; domain=.auth.mail.ru; Secure; HttpOnlyssdc_info=4147:0:1394650954; expires=Tue, 10 Jun 2014 19:02:34 GMT; path=/; domain=.auth.mail.ru; HttpOnlyt=obLD1AAAAAAIAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAABAAAAAAAAAAAAAACAAAEBwgcA; expires=Mon, 08 Sep 2014 19:02:34 GMT; path=/; domain=.mail.ru"

Cookie: Mpop=1394653298:6f5d4a62695b7272190502190a1d00071c02054f6a5d5e465e07070602031e08020e1e5750535e5c50524352435651165450595a164047:nikolaevevge@mail.ru:; t=obLD1AAAAAAIAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAABAAAAAAAAAAAAAACAAAEBwgcA

$value = trim(mb_substr($value,11));
        If (mb_strpos($value,"=")) {
          $name = mb_substr($value,0,mb_strpos($value,"="));
          $value = mb_substr($value,mb_strpos($value,"=")+1);
          If (mb_strpos($value,";")) {
            $value = mb_substr($value,0,mb_strpos($value,";"));
          }
          If (($name != '') && ($value != '')) {
            $this->cookiesetarray[$name] = $value;
          }
        }
      }
      If (mb_substr(strtolower($value),0,9) == 'location:') {
        $this->location = trim(mb_substr($value,9));
      }
    }

if ($this->autoencodingenabled) {
      $this->autoencoding();
    }
	$this->linksArray = array();

return new textparser($this->body);
  }
}

Комментарии