maccms10二開批量入庫和資源打包

来源:https://www.cnblogs.com/chaihuibin/archive/2022/05/09/16251670.html
-Advertisement-
Play Games

#批量入庫 因為maccms自帶的採集採集起來很慢,而且很多資源站的採集介面不能對內容排序,導致最舊的數據最後入庫。用java寫個採集程式,採集完入庫的時候發現不能一次性入庫多個數據,導致入庫也很慢,所以就在入庫控制器寫了個方法批量入庫。 Receive.php public function fo ...


批量入庫

因為maccms自帶的採集採集起來很慢,而且很多資源站的採集介面不能對內容排序,導致最舊的數據最後入庫。用java寫個採集程式,採集完入庫的時候發現不能一次性入庫多個數據,導致入庫也很慢,所以就在入庫控制器寫了個方法批量入庫。

Receive.php

public function foo()
{
	$info = $this->_param;
	if (!array_key_exists("vods", $info) || empty($info["vods"]))
	{
	    echo json_encode(['code'=>2002,'msg'=>"vods is required"],JSON_UNESCAPED_UNICODE);
            exit;
	}
        $vods = json_decode($info["vods"], true);
        
        if (null == $vods)
        {
            echo json_encode(['code'=>2002,'msg'=>"the format of vods is incorrect"],JSON_UNESCAPED_UNICODE);
            exit;
        }
        
        $inter = mac_interface_type();
        $res = [];
    	foreach ($vods as $vod)
    	{
    		if(empty($vod['type_id'])) {
            	$vod['type_id'] = $inter['vodtype'][$vod['type_name']];
        }
        	
        $data['data'][] = $vod;
        	
    }
    $res[] = model('Collect')->vod_data([],$data,1); 
    echo json_encode($res,JSON_UNESCAPED_UNICODE);
}

資源打包

有時候需要給其他程式全量下載視頻數據,有個介面會很方便

Provide.php

// format: json返回json格式數據;無或line或其他返回的數據,是一行一條數據,且每一行都是合法的json格式
public function bar()
{
        // token暫時無用
        $token = $this->_param['token'];
        $format = $this->_param['format'] == "json" ? "json" : "line";
        $suffix = $format == "json" ? ".json" : ".txt";

        // category暫時無用
        $category = $this->_param['category'];
        if (empty($category)) {
        	$category = "";
        }
        else {
        	$temp = explode(",", $category);
        	$category = "";
        	foreach ($temp as $k=>$v) {
        		if (is_numeric($v)) {
        			$category .= (($k==0 ? "" : ",") . $v);
        		}
        	}
        }
        
        $path = ROOT_PATH . "data".$suffix;
        $url = request()->domain() . "/" . "data".$suffix;
        if (is_file($path)) {
        	clearstatcache(true, $path);
        	$mtime = (int)date("Ymd", filemtime($path));
        	$today = (int)date("Ymd", time());
        	if (filesize($path) > 0 && $mtime - $today == 0)
        	{
        		echo json_encode(["time" => $mtime, "url" => $url]);
        		exit;
        	}
        }
        
        $fp = new \SplFileObject($path, "a+b");
        if ($fp->flock(LOCK_EX)) {
			if ($fp->getSize() > 0) {
				$fp->ftruncate(0);
				$fp->fflush();
			}
				
			$count = Db::name('Vod')->count();
			$i = 0;
        	$size = 2000;
        	$temp = $format == "json" ? array() : "";
        	while ($i<$count) {
        		$size = ($count-$i>=$size) ? $size : $count-$i;
        		$limit = $i . "," . $size;
        		// vod_class as class,
        		$list = Db::name('Vod')->field("vod_id as id,type_id as type,vod_name as name,vod_pic as pic,vod_play_url as playurl")->limit($limit)->select();
        		if ($format == "json") {
        			$temp = array_merge($temp,$list);
        		} else {
        			$temp = "";
        			foreach ($list as $k=>$v) {
        				if ($i >0 || ($i==0 && $k>0)) {
        					$temp .= "\r\n";
        				}
        				// JSON_UNESCAPED_UNICODE
						$temp .= json_encode($v);
					}
					$fp->fwrite($temp);
        			$fp->fflush();
        		}
        		$i+=$size;
        	}
        	if ($format == "json")
        	{
        		// JSON_UNESCAPED_UNICODE
        		$fp->fwrite(json_encode($temp));
        		$count = count($temp);
        		$fp->fflush();
        	} else {
        		$fp->seek(PHP_INT_MAX);
        		$count = $fp->key() + 1;
        	}
        	$fp->flock(LOCK_UN);
		$fp = null;
		echo json_encode(["time" => (int)date("Ymd", time()), "url" => $url, "count" => $count]);
		exit;
	}
        echo json_encode(["time" => (int)date("Ymd", time()), "url" => "", "count" => 0]);
}

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前端周刊:2022-6 期 前端開發 videojs-plugin-marker--videojs 進度條打點插件 基於 videojs-marker-plugin 項目二次開發,支持 marker 點更新和 marker 點擊事件;更換構建工具為 Vite。 @cutting-mat/direct ...
  • ####一、前言 #####因為最近練習Vue3項目的時候,發現Chrome瀏覽器的devtools插件不起作用了,這才想起當前安裝的devtools是5版本的,而Vue3項目需要6版本才支持。 ####二、安裝 #####1. 在Github上搜索devtools項目,直達車 #####2. 找到 ...
  • 認識jsJS是寄生語言,寄生在HTML中,與JAVA沒有關係JS可以寫在html文件中,以<script></script>標簽對出現在一些瀏覽器中,使用控制台可以監控到JS的工作<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8 ...
  • 1.概念 1.1.知道的越少越好 迪米特法則,結合其含義又稱之為“最少知道原則”,即一個類作為一個調用方,應當對自己依賴的類(被調用的類)其中所處理的邏輯細節,知道的越少越好。對於被依賴的類(被調用的類)不管在使用上多麼的複雜,它都應儘量將處理邏輯封裝在它的內部,對調用方提供簡潔明瞭的公共方法即可, ...
  • 大家好,我是DD,已經是封閉在家的第51天了! 最近一直在更新Java新特性和IDEA Tips兩個專欄,其他方向內容的動態關註少了。昨天天晚上刷推的時候,瞄到了這個神奇的東西,覺得挺cool的,拿出來分享下: 相信你看到圖,不用我說,你也猜到是啥了吧?html里可以跑python代碼了! 看到好多 ...
  • 講義: 動態sql可以定義代碼片斷,可以進行邏輯判斷,可以進行迴圈處理(批量處理),使條件判斷更為簡單。 一、動態sql核心標簽: 1、<sql>:當多種類型的查詢語句的查詢欄位或者查詢條件相同時,可以將其定義為常量,方便調用。 2、<include>:用來引用<sql>定義的代碼片斷。 <!--定 ...
  • 一、並行管道搭建: 總結下實現思路: 歸併排序:進行集合元素排序(節點),並兩兩節點歸併排序;每個節點元素要求有序的(排序),當然終點最小節點元數個數為1必是有序的; 節點:任務處理單元,歸併排序節點是處理輸出有序集合任務的單元;文件過大單台機排不了需要多台機集群; 根據粒度,單機版:非併發節點可以 ...
  • package com.oop.demo06;public class Person { public void run(){ System.out.println("run"); }} package com.oop.demo06;public class Student extends Pers ...
一周排行
    -Advertisement-
    Play Games
  • public static void GetRegistData() { string name = "huishuangzhu"; //搜索到註冊表根目錄 RegistryKey hkml = Registry.ClassesRoot; //搜索到註冊表根目錄下的XXX文件夾。 RegistryK ...
  • 用acme.sh自動部署功能變數名稱證書 安裝ACME 目前使用量最大的免費SSL證書就是Let’s Encrypt,自2018-03開始,Let’s Encrypt官方發佈上線了免費的SSL泛功能變數名稱證書,目前通過DNS方式獲取比較快,國內可以通過鵝雲的DNSPod功能變數名稱API或者貓雲功能變數名稱API自動簽發Let’ ...
  • 經常看到有群友調侃“為什麼搞Java的總在學習JVM調優?那是因為Java爛!我們.NET就不需要搞這些!”真的是這樣嗎?今天我就用一個案例來分析一下。 昨天,一位學生問了我一個問題:他建了一個預設的ASP.NET Core Web API的項目,也就是那個WeatherForecast的預設項目模 ...
  • 1、環境搭建 1.1 依賴 <!-- nacos註冊中心 註解 @EnableDiscoveryClient --> <dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-cloud-starter-alibaba- ...
  • ULID:Universally Unique Lexicographically Sortable Identifier(通用唯一詞典分類標識符) UUID:Universally Unique Identifier(通用唯一標識符) 為什麼不選擇UUID UUID 目前有 5 個版本: 版本1: ...
  • 虛基類/抽象類 抽象類:有純虛函數的類 虛繼承 通過修飾繼承方式, 如代碼2是虛繼承,被虛繼承的類稱為虛基類 虛繼承派生類的記憶體佈局方式 先是vbptr => 派生類的數據 =>基類的數據 , 對比代碼1和代碼2,發現原本基類數據在前面,派生類數據在後面,但是在虛繼承的時候 基類數據方式放到了後面, ...
  • 下麵給出 Kafka 一些重要概念,讓大家對 Kafka 有個整體的認識和感知,後面還會詳細的解析每一個概念的作用以及更深入的原理 • Producer:消息生產者,向 Kafka Broker 發消息的客戶端。 • Consumer:消息消費者,從 Kafka Broker 取消息的客戶端。 • ...
  • 前面介紹了對稱加密演算法,本文將介紹密碼學中另一類重要應用:消息摘要(Digest),什麼是消息摘要?簡單的定義是:對一份數據,進行一個單向的Hash函數,生成一個固定長度的Hash值,這個值就是這份數據的摘要,也稱為指紋。 ...
  • 弟弟最近要考試,臨時抱佛腳在網上找了一堆學習資料複習,這不剛就來找我了,說PDF上有水印,影響閱讀效果,到時候考不好就怪資料不行,氣的我差點當場想把他揍一頓! 算了,弟弟長大了,看在打不過他的份上,就不打他了~ 稍加思索,我想起了Python不是可以去水印?說搞就搞! 去除水印原理 去除方法: 用 ...
  • 作者:陳昌浩 1 導讀 if…else…在代碼中經常使用,聽說可以通過Java 8的Function介面來消滅if…else…!Function介面是什麼?如果通過Function介面介面消滅if…else…呢?讓我們一起來探索一下吧。 2 Function介面 Function介面就是一個有且僅有 ...