评估管理的有效性:衡量和方法

引言: 何以有章可循

管理是現代生活的每個方面 — — 從我們呼吸的空气和食物到金融市场的稳定和工作场所的安全。然而管理不是自我有效的。纸面上看合理的规则可以造成意想不到的后果、造成不成比例的成本或者根本不能改變行為。因此,评估管理效能是关键治理功能。它提供了完善现有规则、设计更好的新规则以及确保真正使决策者受益所需的證據。如果不嚴格的評估,管理就有可能成為一個沒有明显回报的負擔 — — 或更糟糕的,是傷害的根源。

該文章全面考察了用以評估管理效能的衡量尺度和方法。它借鉴了歐洲[和美國環保局等組織的既定評估框架,以及從現實世界案例研究中學到的經驗。了解什么可行和什么不可行,监管者、利益相关者和公民可以推動更聰明、更負責的治理。

理解监管效力

管理效能不是一個单一的概念,而是一個多面性的概念。它的核心是,它是指管理实现其既定目的的程度。然而,那些目的常常跨越多個领域,即經濟效率、環境質、公共卫生、公平和行政可行性。真正有效的管理必須在以下若干标准上取得良好效果:

功效:規定是否產生了所期望的行為或結果的改變?
是否以社會成本為理由?
公平:負擔和利益是否在不同的群体中公平分配?
反應: 規定能適應變化的環境或新資訊嗎?
法律是否被影響者認為公平合理?

歐盟的管理政策展望强调,评估有效性不仅需要立即遵守,而且需要长期的社会成果和管理程序本身的质量。

估計的關鍵量度

量度把管理目標化為可衡量指示器。沒有一個單一的度量衡是足夠的。需要一套指示器來捕捉效果的很多方面。以下是最常用的度量衡, 并附有示例和背景。

遵守率

遵守是最直接的衡量尺度:它衡量遵守規定的受管实体的比例。高遵守率表明, 規定的設計、执行和接受都很好。遵守率低可能表明設計不善、执行不力或不切实际的要求。然而, 遵守本身可能會有誤誤。容易遵守的规则可能不會推动有意义的改變, 而遵守适度的困難规则可能仍然會產生巨大的净效益。例如,美國证券交易委員會追蹤遵守披露要求的情况; 高提交率不能保证投資人真正使用信息。

效果

結果的衡量尺度不僅僅是符合規定, 也比起世界實際變化。環境規定可能會減少污染物浓度或物种回收。安全規定可能會減少工作场所的傷亡或交通死亡。結果的衡量尺度是衡量規定是否起作用的最直接的尺度。然而, 結果的衡量尺度需要控制其他影響結果的因素, 通常需要精密的統計方法。 EPA對《清洁空气法》的回溯性分析提供了一個很為人所知的範例:當大修改之前和之后, 该机构對空气质量趋势进行比较, 估計, 該法案防止了數十萬人过早死亡。

成本收益分析

CBA 比較了管理規範( 遵守成本、行政負擔、生产力下降) 的總經濟成本和總效益( 改善健康、環境增益、降低風險 ) 的總效益。成本和效益都以可能時的金融表示, 以便直接估計社会福利。 CBA 是許多國家的管理影響性分析的基石, 但也有其局限性。它與不可移動的價值( 如生物多样性、人格尊嚴) 相抗爭, 也對折扣率和不确定性敏感。尽管有這些問題, CBA 仍然是比較管理規範的有力工具。美國管理及預算局每年會公布關於聯邦規範規範規範規範的費和效益的報告, 提供丰富的數據源, 以供評估。

利益攸关方的反馈

需要由受影响者提供質量的數量衡量。利益攸关方的反馈是通过調查、公共評論或磋商會得到的,可以揭示出意料之外的后果、执行障碍和公平感。例如,小生意調查可能表明,提交报告的要求太過苛刻,以致于不易遵守,即使這條規則本身是明智的。英國金融行為管理局定期後期审查,把定量數據和利益攸关方的訪問结合起来。

纵向研究和時間-時間分析

許多規定會產生幾年或幾十年來所發生的影響。纵向研究會追蹤到相同的受管制实体或地理区域,讓評估者在規定前及之後觀察趋势。時序經濟測量可以將規定效果從其他經濟或社會變化中分離出來。例如,研究多德-弗兰克法案對銀行冒險的影響的研究人员利用數十年的銀行资产负债表季度數據來估計杠杆和交易活動的变化。這些研究是無價的,但需要小心的模型,以避免錯誤的變數。

附加量度:公平、效率和回應

除了上述核心衡量标准之外,管制者越来越多地衡量公平——无论该条例是否不成比例地影响到弱势群体,这可能通过遵守成本的人口分类或结果的改变来加以体现。效益可以通过成本效益分析(例如,每救出生命就有美元)或通过比较各法域的管制业绩来进一步评估。 反应性是更難量化的,但可以被管制更新的速度或给予的豁免数量所大致理解。

评估方法

選擇正確的評估方法取决于管理背景、資料提供情况和所問問題。方法通常都沿著定量到定性的範圍,混合方法往往能帶來最丰富的洞察力。

定量方法

數量方法依赖于數量數據和數據推測。其強度是客观和可复制性, 但需要高质量的數據和小心的模型规格。

准實驗性設計

隨機化控制試驗對規定來說很少可行(你無法指定一些公司受管,而其他公司則不行),因此評估者使用准實驗方法。 偏差分別 在規定改變之前和之后,把受管群比作不受管束的控制群。 递解不连续性 利用了阈值(例如,一個特定污染水平,它會引發更严格的規定)來因果估計。 工具變數 在規定本身受到結果影響時,可以解決內生性问题。這些方法現在是學術政策評中的标准,而且日益被政府机构采用。

经济模型和模拟

通常的平衡模型和系統動力模型可以模拟一個規定的波及效应,它可以透過整個經濟或部門。例如, EPA的温室气体報告程序[ 使用經濟模型來估計排放限值的宏观影響。這些模型很強大,但主要依靠行為和技术的假設。它們最好和實驗基准一起使用。

普查和行政資料

大型的受管实体調查可以低廉地產生遵守和結果的資料。行政記錄,如稅務檔案、污染報告或安全檢查,提供丰富的纵向資料,而不需要收集原始資料。建立跨机构的行政数据集(如健康記錄和环境監控)的連結可以提供有力的分析,但引起需要管理的隱私性。

定性方法

質量方法探索量化結果背后的“如何”和“為什麼”,是了解实施过程和利害关系方經驗所必不可少的。

深度訪問

以「食品安全法則」為例, 小型企業主在新食品安全規則出台後, 面試的價格可能遠超於食品安全實施的效益。

焦點群組

焦點群組集了各種小群的相關者, 探究他們對規定的看法。在試驗規定草案或探究遵守率低的原因時,

案例研究

實際規定實施的深入案例研究提供了丰富、具體的證據。案例研究可能追蹤一城市新的租金管制法令如何在兩年內影響房東的行為、住房供應和房客的滿意。经合组织的案例研究寄存器[提供了十幾個跨部位的例子,既能說明管理措施的成功,又能說明失敗。

混合方法:结合最佳方法

估計框架日益提倡混合方法:用定量數據來估計因果效果和辨別模式,然后用定性調查來解釋這些模式和辨識機制。例如,對 FDA 煙草管制的研究[ 可能把間歇性時間序列分析與公共保健官和煙草商的訪問结合起来。三角比對此可以提高結果的可信度,并提供可操作的建議。

管理评价中的挑戰

儘管有最好的衡量尺度和方法,管理性評估仍會遇到持久的障碍。承認這些挑戰對實際評估至关重要。

資料提供和质量

管理性評估通常需要不存在或無法存取的資料。機密的企業信息、分散的机构紀錄或短的量度期可以限制分析。在发展中國家, 基本遵守性資料可能完全缺失。估計者必須有時依靠代理或小樣本, 這會帶來不确定性。美國的管理.gov 入口已提高資料透明度, 但很多机构仍然缺乏系統性評估數據庫。

歸咎與反事實

将管理措施的效果与其他并行的改變(經濟周期、技术变革、其他政策)相隔離是众所周知的困難。沒有有效的反事實(如果沒有管理措施,會發生什么 ) , 因果关系仍然只是暫時的。准實驗方法只會依靠可能不會存在的假設(例如平行趋势 ) 。

時空拖曳和動力效果

許多規定只有在很長的時間後才能产生效果。環境規定通常需要多年才能顯示生态系统健康可觀的改善。金融規定可能防止几十年后可能發生的危机 — — 或者永遠不會。过早进行的評估可能找不到效果,而利用过时的數據等待太長的風險。动态效應(比如公司创新以避免遵守)也可能隨时间而改變管理格局。

利益攸关方抵抗和赌博

受管制的單位可能抵制數據收集或战略性地報告以最小化預測的不遵约。這會使遵守的衡量尺度和結果措施都失誤。例如,受排放上限限制的公司可能漏報污染,使得管理效果看上去比它更有效。獨立的稽核和第三方的核查可以減輕賭博,但會增加成本。

政治和体制限制

顯示規定無效的評估可能在政治上不方便。各机构可能面临壓力,只公布积极成果,或者在結果不適合時會削减評估預算。機構的惰性也阻止了評估結果的利用來更新規則。建立評估文化需要領導和長期的承諾。

管理评估案例研究

現實世界的評估說明了理論如何與實驗相交,

《清洁空气法》(环境条例)

美國的《清洁空气法》是历史上评价最广泛的法规之一。环保局的回溯性分析采用了遵守性數據、空气质量监测(结果衡量 ) 和健康影响模型等综合方法。一项里程碑式的研究估計,在1970年至2020年期间,该法案每年防止了20萬多例早死。评估依赖于差异差比各郡不同基线污染水平,以及成本收益超过成本的30倍的成本效益分析。以上證據被用來為之後的修改和制定空气质量标准提供理由。

《多德-弗兰克法》(金融管理)

金融危機發生後,多德-弗兰克的目標是降低系统性風險和保护消费者。評估的重點是銀行資本比率、冒險行為和銀行失業數量。利用季度銀行數據和资产大小阈值的倒轉性設計的研究發現,在多德-弗兰克的監控下,更密切的監管降低了風險,但也增加了小銀行的合规成本。定性的訪問顯示,社群銀行在報酬負擔上挣扎,促使2018年的监管减免法案生效。案例表明,量和量性評估如何能為立法調整提供資訊。

烟草管制政策(健康条例)

根據國際食品安全局的報導, 國際食品安全局(FDA)在2009年獲得了管制煙草產品的權力, 實施了廣告限制、警示標籤和口味禁令。評估者用商店水平的銷售數據來顯示, 口味禁令使青少年的起步率下降了40%。零售商和有青少年的焦點群的調查提供了背景:禁令有效,因為取消了吸引人的口味, 但青少年只是轉而到網路上購買。結果使得對电子商务銷售的执法力度得到了提升。 FDA 的管理科學程序繼續資助那些反馈到政策設計中的評估。

2018年生效的歐盟一般數據保護規定旨在强化數據隱私權。由于數據流的全球性,评估其有效性是一件難事。量子包括數據違法通知、罚款和消费者信任調查。混合方法的研究把數量分析(增加)違法報告和對隱私權的訪問结合起来,發現了這項規定提高了對小公司的意識,但也給小公司造成了遵守規定的負擔。評估突出了跨州分級执行和統治的必要性。

結論: 走向更聰明的管制管理

估量监管效果不是一次性的,而是持续性的承諾。随着現代經濟和生态系统的複雜性日益提高,也更加需要嚴谨透明的评估。這篇文章描述的衡量尺度和方法 — — 從遵守率和成本效益分析到准實驗性设计和利害关系方的訪問 — — 提供了一個可以適應任何监管背景的工具包。任何一個工具都不可能完美。最好的評估方法都包含多种方法,承認不确定性,并积极尋找不可靠的證據。

數據的提供、歸屬和政治阻力的挑戰是實在的,但這并非不可克服。政府可以投資數據基础设施、授權獨立評估單位、建立反馈机制,讓規定進化。最终目的不是要找到對規定的最後判決,而是要建立动态的學習和改进进程。被評估的規矩可以赢得信任、交付成果,更能有效服务於公共利益,而不是讓規定被無考。