欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

ShellExecuteEX打开iqy文件导致excel hang的原因分析

程序员文章站 2022-05-23 19:52:30
1. 问题 当在console中调用API ShellExecuteEx打开"test.iqy"文件时,发现excel会hang住,console退出后excel才会响应,但直接双击"test.iqy"是没有问题的,有意思的是这个情况只有在xp发生,在win7上没有这个问题。 2. 重现步骤 重现环 ......

1. 问题

当在console中调用API ShellExecuteEx打开"test.iqy"文件时,发现excel会hang住,console退出后excel才会响应,但直接双击"test.iqy"是没有问题的,有意思的是这个情况只有在xp发生,在win7上没有这个问题。

 

2. 重现步骤

重现环境:XP sp3 / Office 2007(其他office版本应该也可以,没有测试)

1> 解压iqy_test.zip

2> 运行http_server.py(需先安装python)

3> 执行"shell_execute.exe test.iqy"

shell_execute.exe的主要code:

bool shell_execute_file(wstring file_path)
{
    SHELLEXECUTEINFOW shell_exec_info = { 0 };
    shell_exec_info.cbSize = sizeof(SHELLEXECUTEINFOW);
    shell_exec_info.fMask = SEE_MASK_NOCLOSEPROCESS | SEE_MASK_FLAG_NO_UI;
    shell_exec_info.hwnd = NULL;
    shell_exec_info.lpVerb = NULL;
    shell_exec_info.lpFile = file_path.c_str();
    shell_exec_info.lpParameters = NULL;
    shell_exec_info.lpDirectory = NULL;
    shell_exec_info.nShow = SW_SHOW;
    shell_exec_info.hInstApp = NULL;
    bool ret = ShellExecuteExW(&shell_exec_info);
    printf("process handle is %p\n", shell_exec_info.hProcess);

    return ret;
}

 

3. 原因分析

3.1 excel hang在哪里?

3.1.1 用windbg附加到excel上,输入如下命令查看主线程hang住的地方

可以看到Excel hang在NtUserMessageCall()中,经过查询知,SendMessage()内部就是调用NtUserMessageCall()来发送消息的。

查看参数知excel调用NtUserMessageCall()类似如下:

NtUserMessageCall(HWND_BROADCAST, WM_DDE_INITIATE)

说明excel给所有顶层窗口发送一个WM_DDE_INITIATE消息,但是有窗口没有response

由此可以怀疑是由于console进程在和excel用DDE消息通信时,console没有响应excel发送的DDE消息,导致excel hang住

 

3.2 为了验证3.1.1的猜想,用API Monitor一下ShellExecuteEx

3.2.1 根据微软的文档可知,发送DDE消息除了WM_DDE_INITIATE和WM_DDE_ACK之外用的都是PostMessage

https://msdn.microsoft.com/en-us/library/windows/desktop/ff468829(v=vs.85).aspx

在API Monitor中搜索一下PostMessage的调用,果然搜到一条

call stack显示确实是ShellExecuteEx所调用

消息1000为WM_DDE_EXECUTE,Post窗口句柄为0x00310172。

注意到下一个API GetWindowThreadProcessId ( 0x00310172 , 0x0012fb70 ),刚好是获取这个窗口的pid和tid,查看下参数窗口:

这个窗口所属的进程PID = 0xc54,正好是excel的进程,说明ShellExecuteEx确实发送了DDE消息给excel,而且可执发送的消息的thread就是主线程

根据DDE的消息参数,可知wParam就是发送消息的窗口,其句柄为2425190 = 0x250166,反向查询知这是ShellExecuteEx创建的”WorkerW”窗口

 

3.2.2 为了验证3.2.1的结论,在PostMessageW上下断点跟踪一下

查看一下buff的地址:

刚好就是打开test.iqy的命令,说明ShellExecuteEx就是先创建了excel的进程,然后发送test.iqy的文件命令给excel打开。

 

3.3 总结

1> ShellExecuteEx打开test.iqy的时先创建excel进程

2> 然后创建一个"WorkerW"的窗口用于DDE通信

3> Post WM_DDE_EXECUTE给excel,告知打开test.iqy的命令

4> ShellExecuteEx执行结束,但并不destroy "WorkerW"窗口

5> excel收到WM_DDE_EXECUTE消息后会广播WM_DDE_INITIATE消息,"WorkerW"窗口所在的console进程由于没有定义消息处理函数,ShellExecuteEx定义的"WorkerW"窗口消息处理函数得不到CPU执行机会,导致不会response该消息,从而导致excel hang住

类似,我们可以创建一个带窗口的程序,启动后将其挂起,这时,即使直接双击打开test.iqy也会hang住。

 

4. 为什么双击打开excel不会hang住

因为双击打开实际是用explorer.exe打开,而explorer.exe是有窗口的,能够正常的接收处理WM_DDE_INITIATE消息

 

5. 为什么win7上不会有这样的问题

5.1 在API Monitor中看下PostMessageW

注意到win7下PostMessageW是用的线程2调用的,搜一下线程创建API CreateThread

可知是ShellExecuteEx内部创建的线程,所以win7上ShellExecuteEx创建了一个线程专门用来处理和excel的DDE消息通信,这样就能正常的接收处理excel发过来的WM_DDE_INITIATE消息了