相当多的邮件服务器不支持大附件，一般为32MB，网易的是50MB。参照链接：
让客户满意是我们工作的目标，不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户，将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴，公司提供的服务项目有：域名申请、网络空间、营销软件、网站建设、双滦网站维护、网站推广。
所以发送失败未必是你代码的问题。很有可能是你服务器的问题。请找一个支持大附件的邮箱试一试，找不到的话看能不能把附件拆到32M以下，然后多次发送。
在Identity2.0里面封装了IIdentityMessageService接口，可以用来发送接收邮件。
看看
Imports System.Threading.Tasks
Imports System.Security.Claims
Imports Microsoft.AspNet.Identity
Imports Microsoft.AspNet.Identity.EntityFramework
Imports Microsoft.AspNet.Identity.Owin
Imports Microsoft.Owin
Imports Microsoft.Owin.Security
public function SendAsync(message as IdentityMessage) as task
dim credentialUserName = "邮箱登录名"
dim sentFrom = "你的邮箱地址"
dim pwd= "邮箱登录密码";
dim client as new System.Net.Mail.SmtpClient("smtp服务器地址")
client.Port = 25'mtp邮件服务器端口
client.DeliveryMethod = System.Net.Mail.SmtpDeliveryMethod.Network
client.UseDefaultCredentials = false
dim credentials as new System.Net.NetworkCredential(credentialUserName, pwd)
client.EnableSsl = true
client.Credentials = credentials
dim mail as new System.Net.Mail.MailMessage(sentFrom, message.Destination)
mail.Subject = message.Subject
mail.Body = message.Body
return client.SendMailAsync(mail)
end function
最简捷的方法,发件人地址这样表示就可以了
Someone user@domain.com
这段代码我执行无误，不太清楚题主是如何异步发送的，题主也没给出错误究竟是什么，所以无从判断。
只能说需要手动释放，或者用 message = Nothing 也可以释放。
【针对问题补充的回答】
注释行已去掉，仍能正常运行，可能跟网络环境有关。
另外不知题主 AddHandler client.SendCompleted, AddressOf SendCompletedCallback 这行中的回调函数 SendCompletedCallback 是怎么写的，我写的是：
Private Function SendCompletedCallback(ByVal sender As Object, ByVal e As System.ComponentModel.AsyncCompletedEventArgs)
If e.Cancelled Then
REM 邮件发送被取消
ElseIf e.Error.ToString "" Then
REM 邮件发送失败
Else
REM 发送成功
End If
End Function
另外建议用 Try-Ctach-End Try 结构，并在释放前设置延时函数。