云和安全管理服務專家新鈦云服王永偉原創(chuàng)

前言：

在如今的互聯?時代，?數據已成為?業(yè)發(fā)展的?個重要?向標，?對于海量數據的處理?成為?論是技術還是業(yè)務發(fā)展中都不可回避的重要問題。數據量越來越?，對性能要求越來越?；對于?量數據的存儲的現在主要分為兩種數據庫：關系型數據庫和 NoSQL 數據庫。

傳統數據庫天然存在著單機單庫瓶頸、難于擴展；? NoSQL 產品的出現雖然彌補了傳統數據庫的性能問題 ,但是不能完全替代傳統數據庫。

隨著業(yè)務量的擴張和數據量的激增，系統負載很?的情況下，就必須對數據進?分割。數據被分到多個分?數據庫后，應?如果需要讀取數據，就要需要處理多個數據源的數據。

如果沒有數據庫中間件（eg:MyCat） ,那么應?將直接?對分?集群，數據源切換、事務處理、數據聚合都需要應?直接處理，原本該是專注于業(yè)務的應?，將會花?量的?作來處理分?后的問題。

MyCat 是什么？

對于 DBA 來說：

MyCat 就是 MySql Server 增強版的存儲引擎。

對于軟件工程師來說：

MyCat 就是數據庫服務器，可以像操作數據庫那樣操作MyCat。

對于架構師來說：

MyCat 是?個強?的數據庫中間件，不僅可以?作讀寫分離以及分庫分表，甚?可?于多租戶應?開發(fā)、云平臺基礎設施，讓架構具備很強的靈活性和適應性。

MyCat的應用場景：

1、?持讀寫分離、主從切換;

2、垂直分庫、?平分表;

3、多租戶應?，如果每個應??個庫，所有的應該只需連接 Mycat,實現多租戶;

4、報表系統，處理?規(guī)模報表的統計。數據被切分到不同的分?數據庫上，當應?需要讀取數據時，中間件 mycat 就可以幫助開發(fā)?員進?數據聚合、事務、數據源切換等處理，讓開發(fā)?員更加專注于業(yè)務開發(fā)。

MyCat 基本概念介紹：

邏輯庫(schema)：

對實際應???，業(yè)務開發(fā)?員并不需要知道中間件的存在，所以 mycat 中間件?個或多個數據庫集群構成的邏輯庫。

邏輯表(table)：

對應?來說，讀寫數據的表就是邏輯表。邏輯表是對應邏輯庫存在的。

分片表：

指原有很?的數據表需要切分到不同數據庫上的表。

非分片表：

針對分?表來說，原則上是不需要切分的表。

E-R 表：

基于關系型數據庫中實體關系模型，?表和?表記錄存放在同?個分?上，通過表分組保證數據 join 不會出現跨庫操作。

全局表：

類似字典的表；變動不頻繁、數據量總體變化不是很?、規(guī)模不超過10w 的表。

分片節(jié)點(dataNode)：

?個?表被分到不同的分?數據庫上?，每個表分?所在的數據庫就是分?節(jié)點

節(jié)點主機(dataHost)：

?個或多個分?節(jié)點（dataNode）所在的機器就是節(jié)點主機

分片規(guī)則（rule）：

?個?表被分成若?個分?表，就需要?定的規(guī)則，這樣按照某種業(yè)務規(guī)則把數據分到某個分?的規(guī)則就是分?規(guī)則。

MyCat連接池解讀：

MyCat通過共享?個MySQL上的所有物理連接，并結合連接狀態(tài)同步的特性，MyCat的連接池做到了最佳的吞吐量，也在?定程度上提升了整個系統的并發(fā)?撐能?。

其中ConMap 是存放連接池對象重要的數據結構，ConMap部分源碼如下：

private final ConcurrentHashMap<string,< span=""> ConQueue> items = new ConcurrentHashMap();

public ConQueue getSchemaConQueue(String schema)

{

// 根據schema 獲取當前切?的連接

ConQueue queue = items.get(schema);

if (queue == null) { // 如果沒有可?連接，則新建

ConQueue newQueue = new ConQueue();

queue = items.putIfAbsent(schema,newQueue);

return (queue == null) ? newQueue: queue;

}

return queue;

}

public BackendConnection tryTakeCon(final String schema,

boolean autoCommit)

{

final ConQueue queue = items.get(schema);

// 嘗試獲取?個可?連接

BackendConnection con = tryTakeCon(queue,autoCommit);

if (con != null) {

return con;

}

如果沒有可?連接或者不是?動模式，為了?效且充分利?數據庫連接，當某個?戶會話需要?個?動提交到分? dn1(對應db1）的 SQL 連接的時候，連接池?先找是否有 db1 上的可?連接。

如果有，看是否有?動提交模式的連接，找到就返回，否則返回 db1 上的?動提交模式的連接，若沒有db1 的可?連接，則隨機返回?個其他 db 對應的可?連接，若沒有可?連接，并且連接池還沒達到上限，則創(chuàng)建?個新連接并返回。

MyCat網絡模型NIO/AIO：

· SocketConnector 發(fā)起連接請求類，如 MyCAT 與 MySQL 數據庫的連接，都是由 MyCAT 主動發(fā)起連接請求。

· SocketAcceptor 接收連接請求類，如 MyCAT 啟動 9066 和 8066 分別偵聽管理員和應?程序的連接請求。

· SocketWR 讀寫操作類，SocketConnector 和 SocketAcceptor 只負責 socket 建?，當 socket 連接建?后進?字節(jié)的讀寫操作則由SocketWR 來完成。在 MyCAT 中，NIO 采?多 Reactor 模式,內部維護?個 Selector 選擇器分別處理不同是事件。例如 NIOConnector 類- selector 事件選擇器。

· connectQueue 需要建?連接的對象，臨時放在這個隊列?

· reactorPool 當連接建?后，從 reactorPool 中分配?個 NIOReactor，處理 Read和 Write 事件

connect 源碼解讀：

private void connect(Selector selector) {

AbstractConnection c = null;

while ((c = connectQueue.poll()) != null) {

try {

SocketChannel channel = (SocketChannel) c.getChannel();

channel.register(selector, SelectionKey.OP_CONNECT, c);

channel.connect(new InetSocketAddress(c.host, c.port));

} catch (Exception e) {

LOGGER.error("error:",e);

c.close(e.toString());

}

// 處理connect事件，交給reactor處理

private void finishConnect(SelectionKey key, Object att) {

BackendAIOConnection c = (BackendAIOConnection) att;

try {

if (finishConnect(c, (SocketChannel) c.channel)) {

clearSelectionKey(key);

c.setId(ID_GENERATOR.getId());

NIOProcessor processor =

MycatServer.getInstance().nextProcessor();

c.setProcessor(processor);

NIOReactor reactor = reactorPool.getNextReactor();

reactor.postRegister(c);

c.onConnectfinish();

}

} catch (Exception e) {

clearSelectionKey(key);

LOGGER.error("error:",e);

c.close(e.toString());

c.onConnectFailed(e);

}

1、判斷 connectQueue 中是否新的連接請求。

2、建??個 SocketChannel。

3、在 selector 中進行注冊 OP_CONNECT。

4、發(fā)起 SocketChannel.connect()操作。

MyCat讀寫分離實戰(zhàn)：

在?些?型?站業(yè)務場景中，單臺數據庫提供的并發(fā)量已經?法滿?業(yè)務需求；為了提供數據庫的并發(fā)能?和負載能?,?般通過讀寫分離來實現。

當我們的數據庫實現讀寫分離的時候，在應?中需要對數據源進?切換， MyCat能夠幫我們更好的實現數據源的動態(tài)切換，也就是應?程序只需要連接MyCat中間件，?動幫我們讀取讀寫的數據庫。

未采用MyCat中間件項目架構：

MySQL讀寫分離神器：MyCat淺析

采用MyCat中間件架構：

MySQL讀寫分離神器：MyCat淺析

兩者對比差異：

圖?需要在應?程序中配置多個數據源,通過不同的業(yè)務需求動態(tài)切換多個數據源。?通過MyCat以后,應?程序只需要連接MyCat作為數據源，?便拓展，對現有的程序不影響。

搭建主從：

1、jdk 準備：jdk1.7 往上版本

2、mysql 準備,兩臺mysql服務，?臺作為主庫負責寫?數據，?臺是從庫負責讀數據

3、MyCat 安裝：MyCAT 有提供編譯好的安裝包，Mycat-server-xxxxx.linux.tar.gz 解壓

4、MyCat 相關?錄說明：

MySQL讀寫分離神器：MyCat淺析

bin 程序目錄，進入到 bin目錄：

Linux 下運?：./mycat console,?先要 chmod x *

conf ?錄下存放配置?件，server.xml 是 Mycat 服務器參數調整和?戶授權的配置?件，schema.xml 是邏輯庫定義和表以及分?定義的配置?件，

rule.xml

是分?規(guī)則的配置?件，分?規(guī)則的具體?些參數信息單獨存放為?件，

version.txtlib ?錄下主要存放 mycat 依賴的?些 jar ?件.

?志存放在 logs/mycat.log 中，每天?個?件，?志的配置是在

conf/log4j.xml 中，根據??的需要，可以調整輸出級別為 debug，debug 級別下，會輸出更多的信息，?便排查問題。

配置schemal.xml邏輯庫、邏輯表、分片：

<!-– 配置邏輯庫 –>

</schema>

<!-– 配置讀寫分離 –>

"localhost1" maxCon="1000" minCon="10" balance="0"

writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">

<!– ?跳配置，檢測所屬的數據庫是否存活 –>

<heartbe< span="">at>select user()

<!– 寫主庫 –>

writeHost>

<!– 讀從庫 –>

readHost>

dataHost>

配置server.xml，主要配置連接MyCat的邏輯庫、邏輯表訪問權限的配置：

<!– 邏輯庫、邏輯表訪問權限配置 ?戶名 name=root 密碼passwors=123456 –>

<property name="schemas">TESTDB_YONG</property>

<property name="defaultSchema">TESTDB_YONG</property>

<!– 表級 DML 權限設置 –>

<!–

</schema>

</privileges>

–>

</user>

讀寫分離測試：

1、準備兩臺mysql服務器，?臺配置為主數據庫，負責數據的寫?，?臺配置為從數據庫，負責數據的讀取。

2、數據庫中間件MyCat通過shcemal.xml和server.xml配置兩臺數據庫的讀寫。

3、啟動MyaCat服務，連接mycat實現讀寫分離數據源的切換：

mysql -h127.0.0.1 -P8066 -uroot -p

4、連接成功后，然后業(yè)務開發(fā)?員就可以像操作數據庫那樣使? mycat,mycat 會根據配置的相關路由規(guī)則對數據進?分?存儲和匯總。

通過MyCat插?數據：

insert into test(id, name) value (1,'wyw');

Query OK, 1 row affected (0.05 sec)

查看主從數據庫是否有數據，

訪問數據：

select * from test where id = 1;

±—–

| id |

±—–

| 1 |

±—–

1 rows in set (0.00 sec)

5、根據MyCat的運??志查看讀寫分離的的實質：mycat/logs/mycat.log

MySQL讀寫分離神器：MyCat淺析

查詢指令在從服務器上：

MySQL讀寫分離神器：MyCat淺析

MySQL讀寫分離神器：MyCat淺析

前言：

MyCat 是什么？

MyCat 基本概念介紹：

MyCat連接池解讀：

MyCat網絡模型NIO/AIO：

MyCat讀寫分離實戰(zhàn)：

相關推薦