Ceph中RGW是如何向底层OSD发送Message的

这篇文章主要介绍Ceph中RGW是如何向底层OSD发送Message的,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

成都创新互联是一家集网站建设,沾益企业网站建设,沾益品牌网站建设,网站定制,沾益网站建设报价,网络营销,网络优化,沾益网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。

1. Librados的读写流程

src/cls/rgw/cls_rgw_client.cc可以看到如下函数:

int cls_rgw_lc_set_entry(IoCtx& io_ctx, string& oid, pair& entry)
{
    bufferlist in, out;
    cls_rgw_lc_set_entry_op call;
    call.entry = entry;
    ::encode(call, in);
    int r = io_ctx.exec(oid, "rgw", "lc_set_entry", in, out);
    return r;
}

继续跟踪io_ctx.exec()这个函数调用, 在src/librados/librados.cc可以查看到相应的函数实现如下:

int librados::IoCtx::exec(const std::string& oid, const char *cls, const char *method,
                          bufferlist& inbl, bufferlist& outbl)
{
  object_t obj(oid);
  return io_ctx_impl->exec(obj, cls, method, inbl, outbl);
}

继续跟踪io_ctx_impl->exec()这个函数调用,在librados/IoCtxImpl.cc中看到如下实现:

int librados::IoCtxImpl::exec(const object_t& oid, 
                              const char *cls, const char *method,
                              bufferlist& inbl, bufferlist& outbl)
{
  ::ObjectOperation rd;
  prepare_assert_ops(&rd);
  rd.call(cls, method, inbl);
  return operate_read(oid, &rd, &outbl);
}

rd.call()此函数将该操作封装成OSDOp,放入ObjectOperation对象的vector集合中。 在最后的operate_read(oid, &rd, &outbl)函数中发起读写请求操作:

int librados::IoCtxImpl::operate_read(const object_t& oid, 
                                      ::ObjectOperation *o,
                                      bufferlist *pbl,
                                      int flags)
{
  if (!o->size())
    return 0;

  Mutex mylock("IoCtxImpl::operate_read::mylock");
  Cond cond;
  bool done;
  int r;
  version_t ver; 

  Context *onack = new C_SafeCond(&mylock, &cond, &done, &r); 

  int op = o->ops[0].op.op;
  ldout(client->cct, 10) << ceph_osd_op_name(op) << " oid=" << oid << " nspace=" << oloc.nspace << dendl;
  Objecter::Op *objecter_op = objecter->prepare_read_op(oid, oloc,
                                              *o, snap_seq, pbl, flags,
                                              onack, &ver);
  lock->Lock();
  objecter->op_submit(objecter_op);
  lock->Unlock();

  mylock.Lock();
  while (!done)
    cond.Wait(mylock);
  mylock.Unlock();
  ldout(client->cct, 10) << "Objecter returned from "
        << ceph_osd_op_name(op) << " r=" << r << dendl;

  set_sync_op_version(ver);

  return r;
}

需要说明的是operate_read(oid, &rd, &outbl)可以分解为一下三个步骤:

  1. 创建一个Op实例,数据结构变成了Objecter::Op

Objecter::Op *objecter_op = objecter->prepare_read_op(oid, oloc,
                                              *o, snap_seq, pbl, flags,
                                              onack, &ver);
  1. 操作提交到objecter层,操作对象类型变为Objecter::Op, 函数实现在osdc/Objecter.cc:

objecter->op_submit(objecter_op)

继续调用ceph_tid_t Objecter::_op_submit()函数,函数实现在osdc/Objecter.cc: 省略了部分代码,重点关注send_op(op)

ceph_tid_t Objecter::_op_submit(Op *op) 
{
  // pick tid if we haven't got one yet
  if (op->tid == ceph_tid_t(0)) {
    ceph_tid_t mytid = ++last_tid;
    op->tid = mytid;
  }
  assert(client_inc >= 0);

  // pick target
  num_homeless_ops++;  // initially; recalc_op_target() will decrement if it finds a target
  int r = recalc_op_target(op);
  bool check_for_latest_map = (r == RECALC_OP_TARGET_POOL_DNE);

  ............
  else if (op->session) {
    send_op(op);
  } 
  .............
 }

这里的send_op(op)就是我们要关注的重点了. 从这里开始就会用到网络层提供的各种操作将消息,也就是这里的op发送出去. 这里可以看成是调用网络层的一个起点.


下面的代码就和网络层有关系了。

2. 发送消息的过程。

在网络层中,需要注意的是类Messenger是核心的数据结构。同时也是个抽象基类,在Firefly版本中,由于网络通信类型只实现了SimpleMessenger这一单一类型。在后面,就会看到SimpleMessenger是继承自Messenger类,很多方法最终都是调用的是SimpleMessenger(在此也可以体会到多态思想)。 首先,看一下Objecter类的声明(其他部分已省略):

class Objecter : public md_config_obs_t {
    ...........
    public:
         Messenger *messenger;
    ........
}

在这个类中声明了messenger. 从ceph_tid_t Objecter::_op_submit(Op *op) 中可以看到,最后调用了send_op()函数。 这个函数末尾:

messenger->send_message(m, op->session->con);

可以看出,需要发送的消息是: m。 发送到哪里去呢? 通过**op->session->con**可以获取到相应的连接。

以上是“Ceph中RGW是如何向底层OSD发送Message的”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!


网站题目:Ceph中RGW是如何向底层OSD发送Message的
文章路径:http://bzwzjz.com/article/ijpcco.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都网站制作 四川成都网站建设 广安网站设计 网站制作 成都网站制作 成都网站建设 企业网站制作 成都响应式网站建设公司 达州网站设计 营销网站建设 成都商城网站建设 成都定制网站建设 重庆外贸网站建设 温江网站设计 高端网站设计推广 手机网站建设套餐 重庆网站建设 做网站设计 网站制作公司 成都网站制作 成都网站制作 成都网站设计