经济政策不细则性(Economic Policy Uncertainty， EPU) 每每是用来筹谋经济中政策不细则性水平的一种度量格式。本文参考
Huang， Yun， and Paul Luk. "Measuring economic policy uncertainty in China." China Economic Review 59 (2020): 1013671.1 新闻数据库
新闻数据集 | 含 东谈主民日报/经济日报/光明日报 等 7 家媒体(2023.12.18)
东谈主民日报rmrb: 1946-05-15 ~ 2023-12-18光明日报gmrb: 1985-01-01 ~ 2023-12-18东谈主民政协报rmzxb: 2008-01-02 ~ 2023-12-18经济日报jjrb: 2008-01-27 ~ 2023-12-18中国后生报zqb: 2005-01-01 ~ 2023-12-18南边周末nfzm: 2008-01-02 ~ 2023-5-311.2 算法
Step-1. 选拔了114家中国大陆的报纸，其中包括北京、上海、广州和天津等主要城市的报纸。Step-2. 关于每家报纸，搜索包含以下三个要害词之一的著述：经济、不细则性和政策。这些要害词的汉文和英文对照不错在论文的表格1中找到。Step-3. 将每个月的著述数目按照餍足第一个要害词的著述数目进行缩放。Step-4. 将时辰序列法度化，使其在2000年1月至2011年12月本事的法度差为1。 保证总共媒体计较得到的epu是可比的。Step-5. 对十家报纸的月度序列进行苟简平均，并将策动归一化，使其在2000年1月至2011年12月本事的平均值为100。
要是是愚弄一个媒体源进行 类 EPU 策动的构建， 只需用到算法中的前 3 个要领。
免费取得EPU指数文献 rmrb_epu.csv ，涵盖1946-05-31 ~ 2023-12-18https://textdata.cn/blog/2023-12-20-measure-china-economic-policy-uncertainty/rmrb_epu.csv二、基本常识2.1 检察数据大邓的 新闻数据集 | 含 东谈主民日报/经济日报/光明日报 等 7 家媒体(2023.12.18)中的总共媒体， 均有csv表情， 内含 date 和 text 两个字段， csv中的每行是一条新闻。
import pandas as pddf = pd.read_csv('rmrb.csv.gzip'， compression='gzip')df.head()图片
2.2 日历升沉df['date'] = pd.to_datetime(df['date'])print('东谈主民日报: '， df['date'].min().date()， '~'， df['date'].max().date())Run
东谈主民日报: 1946-05-15 ~ 2023-12-182.3 按日历进行分组
使用日历进行分组， 常见的周期是年Y、月M、日D。以 df.groupby(pd.Grouper(key='date'， freq='M')) 为例， 会得到不同 year-month 及对应的dataframe 。不雅察 freq 建造成 Y、M、D， 代码运转恶果，贯穿代码字段名含义。
for date， Yfreq_df in df.groupby(pd.Grouper(key='date'， freq='Y')): print(date， type(Yfreq_df))
Run
1946-12-31 00:00:00 <class 'pandas.core.frame.DataFrame'>1947-12-31 00:00:00 <class 'pandas.core.frame.DataFrame'>1948-12-31 00:00:00 <class 'pandas.core.frame.DataFrame'>1949-12-31 00:00:00 <class 'pandas.core.frame.DataFrame'>1950-12-31 00:00:00 <class 'pandas.core.frame.DataFrame'>1951-12-31 00:00:00 <class 'pandas.core.frame.DataFrame'>1952-12-31 00:00:00 <class 'pandas.core.frame.DataFrame'>......2016-12-31 00:00:00 <class 'pandas.core.frame.DataFrame'>2017-12-31 00:00:00 <class 'pandas.core.frame.DataFrame'>2018-12-31 00:00:00 <class 'pandas.core.frame.DataFrame'>2019-12-31 00:00:00 <class 'pandas.core.frame.DataFrame'>2020-12-31 00:00:00 <class 'pandas.core.frame.DataFrame'>2021-12-31 00:00:00 <class 'pandas.core.frame.DataFrame'>2022-12-31 00:00:00 <class 'pandas.core.frame.DataFrame'>2023-12-31 00:00:00 <class 'pandas.core.frame.DataFrame'>
for date， Mfreq_df in df.groupby(pd.Grouper(key='date'， freq='M')): print(date， type(Mfreq_df))
Run
1946-05-31 00:00:00 <class 'pandas.core.frame.DataFrame'>1946-06-30 00:00:00 <class 'pandas.core.frame.DataFrame'>1946-07-31 00:00:00 <class 'pandas.core.frame.DataFrame'>1946-08-31 00:00:00 <class 'pandas.core.frame.DataFrame'>1946-09-30 00:00:00 <class 'pandas.core.frame.DataFrame'>1946-10-31 00:00:00 <class 'pandas.core.frame.DataFrame'>1946-11-30 00:00:00 <class 'pandas.core.frame.DataFrame'>......2023-05-31 00:00:00 <class 'pandas.core.frame.DataFrame'>2023-06-30 00:00:00 <class 'pandas.core.frame.DataFrame'>2023-07-31 00:00:00 <class 'pandas.core.frame.DataFrame'>2023-08-31 00:00:00 <class 'pandas.core.frame.DataFrame'>2023-09-30 00:00:00 <class 'pandas.core.frame.DataFrame'>2023-10-31 00:00:00 <class 'pandas.core.frame.DataFrame'>2023-11-30 00:00:00 <class 'pandas.core.frame.DataFrame'>2023-12-31 00:00:00 <class 'pandas.core.frame.DataFrame'>
for date， Dfreq_df in df.groupby(pd.Grouper(key='date'， freq='D')): print(date， type(Dfreq_df))
Run
1946-05-15 00:00:00 <class 'pandas.core.frame.DataFrame'>1946-05-16 00:00:00 <class 'pandas.core.frame.DataFrame'>1946-05-17 00:00:00 <class 'pandas.core.frame.DataFrame'>1946-05-18 00:00:00 <class 'pandas.core.frame.DataFrame'>1946-05-19 00:00:00 <class 'pandas.core.frame.DataFrame'>1946-05-20 00:00:00 <class 'pandas.core.frame.DataFrame'>1946-05-21 00:00:00 <class 'pandas.core.frame.DataFrame'>......2023-12-11 00:00:00 <class 'pandas.core.frame.DataFrame'>2023-12-12 00:00:00 <class 'pandas.core.frame.DataFrame'>2023-12-13 00:00:00 <class 'pandas.core.frame.DataFrame'>2023-12-14 00:00:00 <class 'pandas.core.frame.DataFrame'>2023-12-15 00:00:00 <class 'pandas.core.frame.DataFrame'>2023-12-16 00:00:00 <class 'pandas.core.frame.DataFrame'>2023-12-17 00:00:00 <class 'pandas.core.frame.DataFrame'>2023-12-18 00:00:00 <class 'pandas.core.frame.DataFrame'>2.4 文本操作
dataframe中字段要是是字符串表情， 不错用 .str属性， 该str属性具有以下特质功能。
#某词word_pattern1 = '不细则'#某类词word_pattern2 = '不细则|不解确|波动|轰动'#是否含某词 df['text'].str.contains(word_pattern1) #是否含某类词 df['text'].str.contains(word_pattern2) #某词出现的次数 df['text'].str.count(word_pattern1) #某类词出现的次数 df['text'].str.count(word_pattern2)
在 EPU 的计较中，使用的是contains。另外 即不错是
uncertainty_pattern = '不细则|不解确|波动|轰动|摇荡|不稳|未明|不汜博|不了了|未了了|难料|难以预见|难以预测|难以展望|难以料到|无法预见|无法预测|无法展望|无法料到|不能预见|不能预测|不能展望|不能料到'#每条新闻是否出现 uncertainty_pattern ， 出现True，不出现Falsedf['text'].str.contains(uncertainty_pattern)
Run
0 False1 False2 False3 False4 False ... 2014656 False2014657 False2014658 False2014659 False2014660 FalseName: text， Length: 2014661， dtype: bool
通过加总True的个数，得到出现 uncertainty_pattern 的新闻纪录数
df['text'].str.contains(uncertainty_pattern).sum()
Run
563582.4 布尔值的计较
逻辑且 操作，
economic_pattern = '经济|金融'uncertainty_pattern = '不细则|不解确|波动|轰动|摇荡|不稳|未明|不汜博|不了了|未了了|难料|难以预见|难以预测|难以展望|难以料到|无法预见|无法预测|无法展望|无法料到|不能预见|不能预测|不能展望|不能料到'policy_pattern = '政策|轨制|体制|计谋|步调|法例|规例|条例|政事|在野|政府|政委|国务院|东谈主大|东谈主民代表大会|中央|国度主席|总通知|国度领导东谈主|总理|校正|整改|整治|规管|监管|财政|税|东谈主民银行|央行|赤字|利率' economic_mask = df['text'].fillna('').str.contains(economic_pattern)policy_mask = df['text'].fillna('').str.contains(policy_pattern)uncertainty_mask = df['text'].fillna('').str.contains(uncertainty_pattern)print('enconomic新闻条数: '， economic_mask.sum())print('policy新闻条数: '， policy_mask.sum())print('uncertainty新闻条数: '， uncertainty_mask.sum())print()print('enconomic&policy同期出现条数: '， (economic_mask & policy_mask).sum())print('enconomic&policy&uncertainty同期出现条数: '， (economic_mask & policy_mask & uncertainty_mask).sum())Run
enconomic新闻条数: 617182policy新闻条数: 1246681uncertainty新闻条数: 56358enconomic&policy同期出现条数: 510791enconomic&policy&uncertainty同期出现条数: 34332三、EPU计较函数
业务合作 freesans， sans-serif;font-size: 15px;text-wrap: wrap;text-size-adjust: auto;line-height: 1.75em;">有了以上基本常识，就不错使用大邓想象的 cal_epu_index 函数，该函数可针对苟且一个新闻数据(csv表情) 计较 EPU 。
需要属目， 因为是对一个媒体进行计较，是以莫得进行法度化和归一化。
是以媒体1、媒体2计较得到的两个 epu1、epu2 进行数值大小的相比是没突出旨的。要是你有多个媒体，计较得到多个 epu1 、epu2、 epu3， 思计较 mean_epu ， 那么难忘竣事论文算法里的 step4， 再扩充 step5 求均值。
def cal_epu_index(csvf， freq='M'): """ csvf 新闻csv文献的位置， 含date和text两个字段，每行是一条新闻 freq epu的粒度， 年Y、月M、日D #economic、uncertainty、policy整理自 #Huang， Yun， and Paul Luk. "Measuring economic policy uncertainty in China." China Economic Review 59 (2020): 101367 复返dataFrame， 含字段date和epu """ import pandas as pd economic_pattern = '经济|金融' uncertainty_pattern = '不细则|不解确|波动|轰动|摇荡|不稳|未明|不汜博|不了了|未了了|难料|难以预见|难以预测|难以展望|难以料到|无法预见|无法预测|无法展望|无法料到|不能预见|不能预测|不能展望|不能料到' policy_pattern = '政策|轨制|体制|计谋|步调|法例|规例|条例|政事|在野|政府|政委|国务院|东谈主大|东谈主民代表大会|中央|国度主席|总通知|国度领导东谈主|总理|校正|整改|整治|规管|监管|财政|税|东谈主民银行|央行|赤字|利率' df = pd.read_csv(csvf， compression='gzip') df['date'] = pd.to_datetime(df['date']) datas = [] for date， period_df in df.groupby(pd.Grouper(key='date'， freq=freq)): data = dict() data['date'] = date #month是datetime型日历，一般为每个月的终末一日 economic_mask = period_df['text'].fillna('').str.contains(economic_pattern) policy_mask = period_df['text'].fillna('').str.contains(policy_pattern) uncertainty_mask = period_df['text'].fillna('').str.contains(uncertainty_pattern) #在出现经济词的新闻中，统计出现政策、不细则新的比例 data['epu'] = (economic_mask & policy_mask & uncertainty_mask).sum() / economic_mask.sum() datas.append(data) raw_epu_df = pd.DataFrame(datas) return raw_epu_df#东谈主民日报rmrb_EPU_df = cal_epu_index(csvf='rmrb.csv.gzip'， freq='M')rmrb_EPU_df
图片
gmrb_EPU_df = cal_epu_index(csvf='gmrb.csv.gzip'， freq='M')gmrb_EPU_df
图片
四、可视化4.1 df.plotdf.plot使用的前提是要将日历字段诊治为index， 餍足底下形态的数据不错使用.plot绘制
rmrb_EPU_df.set_index('date')图片
青铜峡市尊科壁纸有限公司rmrb_EPU_df.set_index('date').plot(figsize=(10， 5)， title='EPU Index \nsource: China Renmin Daily News')图片
4.2 补助汉文补助汉文的代码，无脑copy
import matplotlib.pyplot as pltimport matplotlibimport scienceplotsimport platformimport matplotlib_inlinematplotlib_inline.backend_inline.set_matplotlib_formats('png'， 'svg')plt.style.use(['science'， 'no-latex'， 'cjk-sc-font'])system = platform.system() # 取得操作系统类型if system == 'Windows': font = {'family': 'SimHei'}elif system == 'Darwin': font = {'family': 'Arial Unicode MS'}else: font = {'family': 'sans-serif'}matplotlib.rc('font'， **font) # 建造全局字体rmrb_EPU_df.set_index('date').plot(figsize=(10， 5))plt.title('经济政策不细则性EPU \nsource: 东谈主民日报'， size=15)plt.xticks(size=12)plt.xlabel('年份'， size=13)plt.ylabel('EPU值'， size=13)plt.show()图片
4.3 相比两个媒体的走势两个新闻媒体障翳的时辰段不同，
东谈主民日报rmrb: 1946-05-15 ~ 2023-12-18光明日报gmrb: 1985-01-01 ~ 2023-12-18
截取1985-01-01之后的数据，进行相比。
rmrb_EPU_df2 = rmrb_EPU_df[rmrb_EPU_df['date']>'1985-01-01']gmrb_EPU_df2 = gmrb_EPU_df[gmrb_EPU_df['date']>'1985-01-01']rmrb_EPU_df2.set_index('date').plot(figsize=(10， 5))plt.title('月度经济政策不细则性EPU \nsource: 东谈主民日报'， size=15)plt.xticks(size=12)plt.xlabel('年份'， size=13)plt.ylabel('EPU值'， size=13)plt.show()图片
gmrb_EPU_df2.set_index('date').plot(figsize=(10， 5))plt.title('月度经济政策不细则性EPU \nsource: 光明日报'， size=15)plt.xticks(size=12)plt.xlabel('年份'， size=13)plt.ylabel('EPU值'， size=13)plt.show()图片
光明日报数据中缺失了1989年了，是以图中有空挡。可是从两个图中不错看到 epu 的走势大略一致。
手脚过后诸葛的大邓， 从东谈主民日报和光明日报计较出的EPU不错看到， 23年不应该投资，应该保守点。
嗯嗯， 同期手脚投资小白，东谈主群中的反向策动东谈主，本年本东谈主收益率-20%，群众欢快不~
精选实质数据集 | 国省市三级gov职责磋商文本
数据集 | 东谈主民日报/经济日报/光明日报 等 7 家新闻数据集
代码 | 使用「新闻数据」生成成见词频「面板数据」
代码 | 使用 3571w 专利肯求数据集构造面板数据
LIST | 文分内析代码汇总
LIST | 社科(管束)文本挖掘文献汇总
LIST | 可供社科(管束)限制使用的数据集长春明迈特经贸有限责任公司
本站仅提供存储工作，总共实质均由用户发布，如发现存害或侵权实质，请点击举报。